tidying
[exim.git] / src / src / transports / pipe.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2018 */
6 /* Copyright (c) The Exim maintainers 2020 - 2021 */
7 /* See the file NOTICE for conditions of use and distribution. */
8
9
10 #include "../exim.h"
11 #include "pipe.h"
12
13 #ifdef HAVE_SETCLASSRESOURCES
14 #include <login_cap.h>
15 #endif
16
17
18
19 /* Options specific to the pipe transport. They must be in alphabetic
20 order (note that "_" comes before the lower case letters). Those starting
21 with "*" are not settable by the user but are used by the option-reading
22 software for alternative value types. Some options are stored in the transport
23 instance block so as to be publicly visible; these are flagged with opt_public.
24 */
25 #define LOFF(field) OPT_OFF(pipe_transport_options_block, field)
26
27 optionlist pipe_transport_options[] = {
28   { "allow_commands",    opt_stringptr, LOFF(allow_commands) },
29   { "batch_id",          opt_stringptr | opt_public,
30       OPT_OFF(transport_instance, batch_id) },
31   { "batch_max",         opt_int | opt_public,
32       OPT_OFF(transport_instance, batch_max) },
33   { "check_string",      opt_stringptr, LOFF(check_string) },
34   { "command",           opt_stringptr, LOFF(cmd) },
35   { "environment",       opt_stringptr, LOFF(environment) },
36   { "escape_string",     opt_stringptr, LOFF(escape_string) },
37   { "force_command",         opt_bool,  LOFF(force_command) },
38   { "freeze_exec_fail",  opt_bool,      LOFF(freeze_exec_fail) },
39   { "freeze_signal",     opt_bool,      LOFF(freeze_signal) },
40   { "ignore_status",     opt_bool,      LOFF(ignore_status) },
41   { "log_defer_output",  opt_bool | opt_public,
42       OPT_OFF(transport_instance, log_defer_output) },
43   { "log_fail_output",   opt_bool | opt_public,
44       OPT_OFF(transport_instance, log_fail_output) },
45   { "log_output",        opt_bool | opt_public,
46       OPT_OFF(transport_instance, log_output) },
47   { "max_output",        opt_mkint,     LOFF(max_output) },
48   { "message_prefix",    opt_stringptr, LOFF(message_prefix) },
49   { "message_suffix",    opt_stringptr, LOFF(message_suffix) },
50   { "path",              opt_stringptr, LOFF(path) },
51   { "permit_coredump",   opt_bool,      LOFF(permit_coredump) },
52   { "pipe_as_creator",   opt_bool | opt_public,
53       OPT_OFF(transport_instance, deliver_as_creator) },
54   { "restrict_to_path",  opt_bool,      LOFF(restrict_to_path) },
55   { "return_fail_output",opt_bool | opt_public,
56       OPT_OFF(transport_instance, return_fail_output) },
57   { "return_output",     opt_bool | opt_public,
58       OPT_OFF(transport_instance, return_output) },
59   { "temp_errors",       opt_stringptr, LOFF(temp_errors) },
60   { "timeout",           opt_time,      LOFF(timeout) },
61   { "timeout_defer",     opt_bool,      LOFF(timeout_defer) },
62   { "umask",             opt_octint,    LOFF(umask) },
63   { "use_bsmtp",         opt_bool,      LOFF(use_bsmtp) },
64   #ifdef HAVE_SETCLASSRESOURCES
65   { "use_classresources", opt_bool,     LOFF(use_classresources) },
66   #endif
67   { "use_crlf",          opt_bool,      LOFF(use_crlf) },
68   { "use_shell",         opt_bool,      LOFF(use_shell) },
69 };
70
71 /* Size of the options list. An extern variable has to be used so that its
72 address can appear in the tables drtables.c. */
73
74 int pipe_transport_options_count =
75   sizeof(pipe_transport_options)/sizeof(optionlist);
76
77
78 #ifdef MACRO_PREDEF
79
80 /* Dummy values */
81 pipe_transport_options_block pipe_transport_option_defaults = {0};
82 void pipe_transport_init(transport_instance *tblock) {}
83 BOOL pipe_transport_entry(transport_instance *tblock, address_item *addr) {return FALSE;}
84
85 #else   /*!MACRO_PREDEF*/
86
87
88 /* Default private options block for the pipe transport. */
89
90 pipe_transport_options_block pipe_transport_option_defaults = {
91   .path =       US"/bin:/usr/bin",
92   .temp_errors = US mac_expanded_string(EX_TEMPFAIL) ":"
93                    mac_expanded_string(EX_CANTCREAT),
94   .umask =      022,
95   .max_output = 20480,
96   .timeout =    60*60,
97   /* all others null/zero/false */
98 };
99
100
101
102 /*************************************************
103 *              Setup entry point                 *
104 *************************************************/
105
106 /* Called for each delivery in the privileged state, just before the uid/gid
107 are changed and the main entry point is called. In a system that supports the
108 login_cap facilities, this function is used to set the class resource limits
109 for the user.  It may also re-enable coredumps.
110
111 Arguments:
112   tblock     points to the transport instance
113   addrlist   addresses about to be delivered (not used)
114   dummy      not used (doesn't pass back data)
115   uid        the uid that will be set (not used)
116   gid        the gid that will be set (not used)
117   errmsg     where to put an error message
118
119 Returns:     OK, FAIL, or DEFER
120 */
121
122 static int
123 pipe_transport_setup(transport_instance *tblock, address_item *addrlist,
124   transport_feedback *dummy, uid_t uid, gid_t gid, uschar **errmsg)
125 {
126 pipe_transport_options_block *ob =
127   (pipe_transport_options_block *)(tblock->options_block);
128
129 #ifdef HAVE_SETCLASSRESOURCES
130 if (ob->use_classresources)
131   {
132   struct passwd *pw = getpwuid(uid);
133   if (pw != NULL)
134     {
135     login_cap_t *lc = login_getpwclass(pw);
136     if (lc != NULL)
137       {
138       setclassresources(lc);
139       login_close(lc);
140       }
141     }
142   }
143 #endif
144
145 #ifdef RLIMIT_CORE
146 if (ob->permit_coredump)
147   {
148   struct rlimit rl;
149   rl.rlim_cur = RLIM_INFINITY;
150   rl.rlim_max = RLIM_INFINITY;
151   if (setrlimit(RLIMIT_CORE, &rl) < 0)
152     {
153 #ifdef SETRLIMIT_NOT_SUPPORTED
154     if (errno != ENOSYS && errno != ENOTSUP)
155 #endif
156       log_write(0, LOG_MAIN,
157           "delivery setrlimit(RLIMIT_CORE, RLIM_INFINITY) failed: %s",
158           strerror(errno));
159     }
160   }
161 #endif
162
163 return OK;
164 }
165
166
167
168 /*************************************************
169 *          Initialization entry point            *
170 *************************************************/
171
172 /* Called for each instance, after its options have been read, to
173 enable consistency checks to be done, or anything else that needs
174 to be set up. */
175
176 void
177 pipe_transport_init(transport_instance *tblock)
178 {
179 pipe_transport_options_block *ob =
180   (pipe_transport_options_block *)(tblock->options_block);
181
182 /* Set up the setup entry point, to be called in the privileged state */
183
184 tblock->setup = pipe_transport_setup;
185
186 /* If pipe_as_creator is set, then uid/gid should not be set. */
187
188 if (tblock->deliver_as_creator && (tblock->uid_set || tblock->gid_set ||
189   tblock->expand_uid != NULL || tblock->expand_gid != NULL))
190     log_write(0, LOG_PANIC_DIE|LOG_CONFIG,
191       "both pipe_as_creator and an explicit uid/gid are set for the %s "
192         "transport", tblock->name);
193
194 /* If a fixed uid field is set, then a gid field must also be set. */
195
196 if (tblock->uid_set && !tblock->gid_set && tblock->expand_gid == NULL)
197   log_write(0, LOG_PANIC_DIE|LOG_CONFIG,
198     "user set without group for the %s transport", tblock->name);
199
200 /* Temp_errors must consist only of digits and colons, but there can be
201 spaces round the colons, so allow them too. */
202
203 if (ob->temp_errors != NULL && Ustrcmp(ob->temp_errors, "*") != 0)
204   {
205   size_t p = Ustrspn(ob->temp_errors, "0123456789: ");
206   if (ob->temp_errors[p] != 0)
207     log_write(0, LOG_PANIC_DIE|LOG_CONFIG,
208       "temp_errors must be a list of numbers or an asterisk for the %s "
209       "transport", tblock->name);
210   }
211
212 /* Only one of return_output/return_fail_output or log_output/log_fail_output
213 should be set. */
214
215 if (tblock->return_output && tblock->return_fail_output)
216   log_write(0, LOG_PANIC_DIE|LOG_CONFIG,
217     "both return_output and return_fail_output set for %s transport",
218     tblock->name);
219
220 if (tblock->log_output && tblock->log_fail_output)
221   log_write(0, LOG_PANIC_DIE|LOG_CONFIG,
222     "both log_output and log_fail_output set for the %s transport",
223     tblock->name);
224
225 /* If batch SMTP is set, force the check and escape strings, and arrange that
226 headers are also escaped. */
227
228 if (ob->use_bsmtp)
229   {
230   ob->check_string = US".";
231   ob->escape_string = US"..";
232   ob->options |= topt_escape_headers;
233   }
234
235 /* If not batch SMTP, and message_prefix or message_suffix are unset, insert
236 default values for them. */
237
238 else
239   {
240   if (ob->message_prefix == NULL) ob->message_prefix =
241     US"From ${if def:return_path{$return_path}{MAILER-DAEMON}} ${tod_bsdinbox}\n";
242   if (ob->message_suffix == NULL) ob->message_suffix = US"\n";
243   }
244
245 /* The restrict_to_path  and use_shell options are incompatible */
246
247 if (ob->restrict_to_path && ob->use_shell)
248   log_write(0, LOG_PANIC_DIE|LOG_CONFIG,
249     "both restrict_to_path and use_shell set for %s transport",
250     tblock->name);
251
252 /* The allow_commands and use_shell options are incompatible */
253
254 if (ob->allow_commands && ob->use_shell)
255   log_write(0, LOG_PANIC_DIE|LOG_CONFIG,
256     "both allow_commands and use_shell set for %s transport",
257     tblock->name);
258
259 /* Set up the bitwise options for transport_write_message from the various
260 driver options. Only one of body_only and headers_only can be set. */
261
262 ob->options |=
263     (tblock->body_only ? topt_no_headers : 0)
264   | (tblock->headers_only ? topt_no_body : 0)
265   | (tblock->return_path_add ? topt_add_return_path : 0)
266   | (tblock->delivery_date_add ? topt_add_delivery_date : 0)
267   | (tblock->envelope_to_add ? topt_add_envelope_to : 0)
268   | (ob->use_crlf ? topt_use_crlf : 0);
269 }
270
271
272
273 /*************************************************
274 *          Set up direct (non-shell) command     *
275 *************************************************/
276
277 /* This function is called when a command line is to be parsed by the transport
278 and executed directly, without the use of /bin/sh.
279
280 Arguments:
281   argvptr            pointer to anchor for argv vector
282   cmd                points to the command string
283   expand_arguments   true if expansion is to occur
284   expand_fail        error if expansion fails
285   addr               chain of addresses
286   tname              the transport name
287   ob                 the transport options block
288
289 Returns:             TRUE if all went well; otherwise an error will be
290                      set in the first address and FALSE returned
291 */
292
293 static BOOL
294 set_up_direct_command(const uschar ***argvptr, uschar *cmd,
295   BOOL expand_arguments, int expand_fail, address_item *addr, uschar *tname,
296   pipe_transport_options_block *ob)
297 {
298 BOOL permitted = FALSE;
299 const uschar **argv;
300
301 /* Set up "transport <name>" to be put in any error messages, and then
302 call the common function for creating an argument list and expanding
303 the items if necessary. If it fails, this function fails (error information
304 is in the addresses). */
305
306 if (!transport_set_up_command(argvptr, cmd, expand_arguments, expand_fail,
307       addr, string_sprintf("%.50s transport", tname), NULL))
308   return FALSE;
309
310 /* Point to the set-up arguments. */
311
312 argv = *argvptr;
313
314 /* If allow_commands is set, see if the command is in the permitted list. */
315
316 if (ob->allow_commands)
317   {
318   int sep = 0;
319   const uschar *s;
320   uschar *p;
321
322   if (!(s = expand_string(ob->allow_commands)))
323     {
324     addr->transport_return = DEFER;
325     addr->message = string_sprintf("failed to expand string \"%s\" "
326       "for %s transport: %s", ob->allow_commands, tname, expand_string_message);
327     return FALSE;
328     }
329
330   while ((p = string_nextinlist(&s, &sep, NULL, 0)))
331     if (Ustrcmp(p, argv[0]) == 0) { permitted = TRUE; break; }
332   }
333
334 /* If permitted is TRUE it means the command was found in the allowed list, and
335 no further checks are done. If permitted = FALSE, it either means
336 allow_commands wasn't set, or that the command didn't match anything in the
337 list. In both cases, if restrict_to_path is set, we fail if the command
338 contains any slashes, but if restrict_to_path is not set, we must fail the
339 command only if allow_commands is set. */
340
341 if (!permitted)
342   {
343   if (ob->restrict_to_path)
344     {
345     if (Ustrchr(argv[0], '/') != NULL)
346       {
347       addr->transport_return = FAIL;
348       addr->message = string_sprintf("\"/\" found in \"%s\" (command for %s "
349         "transport) - failed for security reasons", cmd, tname);
350       return FALSE;
351       }
352     }
353
354   else if (ob->allow_commands)
355     {
356     addr->transport_return = FAIL;
357     addr->message = string_sprintf("\"%s\" command not permitted by %s "
358       "transport", argv[0], tname);
359     return FALSE;
360     }
361   }
362
363 /* If the command is not an absolute path, search the PATH directories
364 for it. */
365
366 if (argv[0][0] != '/')
367   {
368   int sep = 0;
369   uschar *p;
370   const uschar *listptr = expand_string(ob->path);
371
372   while ((p = string_nextinlist(&listptr, &sep, NULL, 0)))
373     {
374     struct stat statbuf;
375     sprintf(CS big_buffer, "%.256s/%.256s", p, argv[0]);
376     if (Ustat(big_buffer, &statbuf) == 0)
377       {
378       argv[0] = string_copy(big_buffer);
379       break;
380       }
381     }
382   if (!p)
383     {
384     addr->transport_return = FAIL;
385     addr->message = string_sprintf("\"%s\" command not found for %s transport",
386       argv[0], tname);
387     return FALSE;
388     }
389   }
390
391 return TRUE;
392 }
393
394
395 /*************************************************
396 *               Set up shell command             *
397 *************************************************/
398
399 /* This function is called when a command line is to be passed to /bin/sh
400 without parsing inside the transport.
401
402 Arguments:
403   argvptr            pointer to anchor for argv vector
404   cmd                points to the command string
405   expand_arguments   true if expansion is to occur
406   expand_fail        error if expansion fails
407   addr               chain of addresses
408   tname              the transport name
409
410 Returns:             TRUE if all went well; otherwise an error will be
411                      set in the first address and FALSE returned
412 */
413
414 static BOOL
415 set_up_shell_command(const uschar ***argvptr, uschar *cmd,
416   BOOL expand_arguments, int expand_fail, address_item *addr, uschar *tname)
417 {
418 const uschar **argv;
419
420 *argvptr = argv = store_get((4)*sizeof(uschar *), GET_UNTAINTED);
421
422 argv[0] = US"/bin/sh";
423 argv[1] = US"-c";
424
425 /* We have to take special action to handle the special "variable" called
426 $pipe_addresses, which is not recognized by the normal expansion function. */
427
428 if (expand_arguments)
429   {
430   uschar * p = Ustrstr(cmd, "pipe_addresses");
431   gstring * g = NULL;
432
433   DEBUG(D_transport)
434     debug_printf("shell pipe command before expansion:\n  %s\n", cmd);
435
436   /* Allow $recipients in the expansion iff it comes from a system filter */
437
438   f.enable_dollar_recipients = addr && addr->parent &&
439     Ustrcmp(addr->parent->address, "system-filter") == 0;
440
441   if (p != NULL && (
442          (p > cmd && p[-1] == '$') ||
443          (p > cmd + 1 && p[-2] == '$' && p[-1] == '{' && p[14] == '}')))
444     {
445     uschar *q = p + 14;
446
447     if (p[-1] == '{') { q++; p--; }
448
449     g = string_get(Ustrlen(cmd) + 64);
450     g = string_catn(g, cmd, p - cmd - 1);
451
452     for (address_item * ad = addr; ad; ad = ad->next)
453       {
454       /*XXX string_append_listele() ? */
455       if (ad != addr) g = string_catn(g, US" ", 1);
456       g = string_cat(g, ad->address);
457       }
458
459     g = string_cat(g, q);
460     argv[2] = (cmd = string_from_gstring(g)) ? expand_string(cmd) : NULL;
461     }
462   else
463     argv[2] = expand_string(cmd);
464
465   f.enable_dollar_recipients = FALSE;
466
467   if (!argv[2])
468     {
469     addr->transport_return = f.search_find_defer ? DEFER : expand_fail;
470     addr->message = string_sprintf("Expansion of command \"%s\" "
471       "in %s transport failed: %s",
472       cmd, tname, expand_string_message);
473     return FALSE;
474     }
475
476   DEBUG(D_transport)
477     debug_printf("shell pipe command after expansion:\n  %s\n", argv[2]);
478   }
479 else
480   {
481   DEBUG(D_transport)
482     debug_printf("shell pipe command (no expansion):\n  %s\n", cmd);
483   argv[2] = cmd;
484   }
485
486 argv[3] = US 0;
487 return TRUE;
488 }
489
490
491
492
493 /*************************************************
494 *              Main entry point                  *
495 *************************************************/
496
497 /* See local README for interface details. This transport always returns FALSE,
498 indicating that the status in the first address is the status for all addresses
499 in a batch. */
500
501 BOOL
502 pipe_transport_entry(
503   transport_instance *tblock,      /* data for this instantiation */
504   address_item *addr)              /* address(es) we are working on */
505 {
506 pid_t pid, outpid;
507 int fd_in, fd_out, rc;
508 int envcount = 0;
509 int envsep = 0;
510 int expand_fail;
511 pipe_transport_options_block *ob =
512   (pipe_transport_options_block *)(tblock->options_block);
513 int timeout = ob->timeout;
514 BOOL written_ok = FALSE;
515 BOOL expand_arguments;
516 const uschar **argv;
517 uschar *envp[50];
518 const uschar *envlist = ob->environment;
519 uschar *cmd, *ss;
520 uschar *eol = ob->use_crlf ? US"\r\n" : US"\n";
521 transport_ctx tctx = {
522   .tblock = tblock,
523   .addr = addr,
524   .check_string = ob->check_string,
525   .escape_string = ob->escape_string,
526   ob->options | topt_not_socket /* set at initialization time */
527 };
528
529 DEBUG(D_transport) debug_printf("%s transport entered\n", tblock->name);
530
531 /* Set up for the good case */
532
533 addr->transport_return = OK;
534 addr->basic_errno = 0;
535
536 /* Pipes are not accepted as general addresses, but they can be generated from
537 .forward files or alias files. In those cases, the pfr flag is set, and the
538 command to be obeyed is pointed to by addr->local_part; it starts with the pipe
539 symbol. In other cases, the command is supplied as one of the pipe transport's
540 options. */
541
542 if (testflag(addr, af_pfr) && addr->local_part[0] == '|')
543   if (ob->force_command)
544     {
545     /* Enables expansion of $address_pipe into separate arguments */
546     setflag(addr, af_force_command);
547     cmd = ob->cmd;
548     expand_arguments = TRUE;
549     expand_fail = PANIC;
550     }
551   else
552     {
553     cmd = addr->local_part + 1;
554     while (isspace(*cmd)) cmd++;
555     expand_arguments = testflag(addr, af_expand_pipe);
556     expand_fail = FAIL;
557     }
558 else
559   {
560   cmd = ob->cmd;
561   expand_arguments = TRUE;
562   expand_fail = PANIC;
563   }
564
565 /* If no command has been supplied, we are in trouble.
566 We also check for an empty string since it may be
567 coming from addr->local_part[0] == '|' */
568
569 if (!cmd || !*cmd)
570   {
571   addr->transport_return = DEFER;
572   addr->message = string_sprintf("no command specified for %s transport",
573     tblock->name);
574   return FALSE;
575   }
576 if (is_tainted(cmd))
577   {
578   addr->message = string_sprintf("Tainted '%s' (command "
579     "for %s transport) not permitted", cmd, tblock->name);
580   addr->transport_return = PANIC;
581   return FALSE;
582   }
583
584 /* When a pipe is set up by a filter file, there may be values for $thisaddress
585 and numerical the variables in existence. These are passed in
586 addr->pipe_expandn for use here. */
587
588 if (expand_arguments && addr->pipe_expandn)
589   {
590   uschar **ss = addr->pipe_expandn;
591   expand_nmax = -1;
592   if (*ss) filter_thisaddress = *ss++;
593   while (*ss)
594     {
595     expand_nstring[++expand_nmax] = *ss;
596     expand_nlength[expand_nmax] = Ustrlen(*ss++);
597     }
598   }
599
600 /* The default way of processing the command is to split it up into arguments
601 here, and run it directly. This offers some security advantages. However, there
602 are installations that want by default to run commands under /bin/sh always, so
603 there is an option to do that. */
604
605 if (ob->use_shell)
606   {
607   if (!set_up_shell_command(&argv, cmd, expand_arguments, expand_fail, addr,
608     tblock->name)) return FALSE;
609   }
610 else if (!set_up_direct_command(&argv, cmd, expand_arguments, expand_fail, addr,
611   tblock->name, ob)) return FALSE;
612
613 expand_nmax = -1;           /* Reset */
614 filter_thisaddress = NULL;
615
616 /* Set up the environment for the command. */
617
618 envp[envcount++] = string_sprintf("LOCAL_PART=%s", deliver_localpart);
619 envp[envcount++] = string_sprintf("LOGNAME=%s", deliver_localpart);
620 envp[envcount++] = string_sprintf("USER=%s", deliver_localpart);
621 envp[envcount++] = string_sprintf("LOCAL_PART_PREFIX=%#s",
622   deliver_localpart_prefix);
623 envp[envcount++] = string_sprintf("LOCAL_PART_SUFFIX=%#s",
624   deliver_localpart_suffix);
625 envp[envcount++] = string_sprintf("DOMAIN=%s", deliver_domain);
626 envp[envcount++] = string_sprintf("HOME=%#s", deliver_home);
627 envp[envcount++] = string_sprintf("MESSAGE_ID=%s", message_id);
628 envp[envcount++] = string_sprintf("PATH=%s", expand_string(ob->path));
629 envp[envcount++] = string_sprintf("RECIPIENT=%#s%#s%#s@%#s",
630   deliver_localpart_prefix, deliver_localpart, deliver_localpart_suffix,
631   deliver_domain);
632 envp[envcount++] = string_sprintf("QUALIFY_DOMAIN=%s", qualify_domain_sender);
633 envp[envcount++] = string_sprintf("SENDER=%s", sender_address);
634 envp[envcount++] = US"SHELL=/bin/sh";
635
636 if (addr->host_list)
637   envp[envcount++] = string_sprintf("HOST=%s", addr->host_list->name);
638
639 if (f.timestamps_utc)
640   envp[envcount++] = US"TZ=UTC";
641 else if (timezone_string && timezone_string[0])
642   envp[envcount++] = string_sprintf("TZ=%s", timezone_string);
643
644 /* Add any requested items */
645
646 if (envlist)
647   if (!(envlist = expand_cstring(envlist)))
648     {
649     addr->transport_return = DEFER;
650     addr->message = string_sprintf("failed to expand string \"%s\" "
651       "for %s transport: %s", ob->environment, tblock->name,
652       expand_string_message);
653     return FALSE;
654     }
655
656 while ((ss = string_nextinlist(&envlist, &envsep, NULL, 0)))
657    {
658    if (envcount > nelem(envp) - 2)
659      {
660      addr->transport_return = DEFER;
661      addr->basic_errno = E2BIG;
662      addr->message = string_sprintf("too many environment settings for "
663        "%s transport", tblock->name);
664      return FALSE;
665      }
666    envp[envcount++] = string_copy(ss);
667    }
668
669 envp[envcount] = NULL;
670
671 /* If the -N option is set, can't do any more. */
672
673 if (f.dont_deliver)
674   {
675   DEBUG(D_transport)
676     debug_printf("*** delivery by %s transport bypassed by -N option",
677       tblock->name);
678   return FALSE;
679   }
680
681
682 /* Handling the output from the pipe is tricky. If a file for catching this
683 output is provided, we could in theory just hand that fd over to the process,
684 but this isn't very safe because it might loop and carry on writing for
685 ever (which is exactly what happened in early versions of Exim). Therefore we
686 use the standard child_open() function, which creates pipes. We can then read
687 our end of the output pipe and count the number of bytes that come through,
688 chopping the sub-process if it exceeds some limit.
689
690 However, this means we want to run a sub-process with both its input and output
691 attached to pipes. We can't handle that easily from a single parent process
692 using straightforward code such as the transport_write_message() function
693 because the subprocess might not be reading its input because it is trying to
694 write to a full output pipe. The complication of redesigning the world to
695 handle this is too great - simpler just to run another process to do the
696 reading of the output pipe. */
697
698
699 /* As this is a local transport, we are already running with the required
700 uid/gid and current directory. Request that the new process be a process group
701 leader, so we can kill it and all its children on a timeout. */
702
703 if ((pid = child_open(USS argv, envp, ob->umask, &fd_in, &fd_out, TRUE,
704                         US"pipe-tpt-cmd")) < 0)
705   {
706   addr->transport_return = DEFER;
707   addr->message = string_sprintf(
708     "Failed to create child process for %s transport: %s", tblock->name,
709       strerror(errno));
710   return FALSE;
711   }
712 tctx.u.fd = fd_in;
713
714 /* Now fork a process to handle the output that comes down the pipe. */
715
716 if ((outpid = exim_fork(US"pipe-tpt-output")) < 0)
717   {
718   addr->basic_errno = errno;
719   addr->transport_return = DEFER;
720   addr->message = string_sprintf(
721     "Failed to create process for handling output in %s transport",
722       tblock->name);
723   (void)close(fd_in);
724   (void)close(fd_out);
725   return FALSE;
726   }
727
728 /* This is the code for the output-handling subprocess. Read from the pipe
729 in chunks, and write to the return file if one is provided. Keep track of
730 the number of bytes handled. If the limit is exceeded, try to kill the
731 subprocess group, and in any case close the pipe and exit, which should cause
732 the subprocess to fail. */
733
734 if (outpid == 0)
735   {
736   int count = 0;
737   (void)close(fd_in);
738   set_process_info("reading output from |%s", cmd);
739   while ((rc = read(fd_out, big_buffer, big_buffer_size)) > 0)
740     {
741     if (addr->return_file >= 0)
742       if(write(addr->return_file, big_buffer, rc) != rc)
743         DEBUG(D_transport) debug_printf("Problem writing to return_file\n");
744     count += rc;
745     if (count > ob->max_output)
746       {
747       DEBUG(D_transport) debug_printf("Too much output from pipe - killed\n");
748       if (addr->return_file >= 0)
749         {
750         uschar *message = US"\n\n*** Too much output - remainder discarded ***\n";
751         rc = Ustrlen(message);
752         if(write(addr->return_file, message, rc) != rc)
753           DEBUG(D_transport) debug_printf("Problem writing to return_file\n");
754         }
755       killpg(pid, SIGKILL);
756       break;
757       }
758     }
759   (void)close(fd_out);
760   _exit(0);
761   }
762
763 (void)close(fd_out);  /* Not used in this process */
764
765
766 /* Carrying on now with the main parent process. Attempt to write the message
767 to it down the pipe. It is a fallacy to think that you can detect write errors
768 when the sub-process fails to read the pipe. The parent process may complete
769 writing and close the pipe before the sub-process completes. We could sleep a
770 bit here to let the sub-process get going, but it may still not complete. So we
771 ignore all writing errors. (When in the test harness, we do do a short sleep so
772 any debugging output is likely to be in the same order.) */
773
774 testharness_pause_ms(500);
775
776 DEBUG(D_transport) debug_printf("Writing message to pipe\n");
777
778 /* Arrange to time out writes if there is a timeout set. */
779
780 if (timeout > 0)
781   {
782   sigalrm_seen = FALSE;
783   transport_write_timeout = timeout;
784   }
785
786 /* Reset the counter of bytes written */
787
788 transport_count = 0;
789
790 /* First write any configured prefix information */
791
792 if (ob->message_prefix)
793   {
794   uschar *prefix = expand_string(ob->message_prefix);
795   if (!prefix)
796     {
797     addr->transport_return = f.search_find_defer? DEFER : PANIC;
798     addr->message = string_sprintf("Expansion of \"%s\" (prefix for %s "
799       "transport) failed: %s", ob->message_prefix, tblock->name,
800       expand_string_message);
801     return FALSE;
802     }
803   if (!transport_write_block(&tctx, prefix, Ustrlen(prefix), FALSE))
804     goto END_WRITE;
805   }
806
807 /* If the use_bsmtp option is set, we need to write SMTP prefix information.
808 The various different values for batching are handled outside; if there is more
809 than one address available here, all must be included. Force SMTP dot-handling.
810 */
811
812 if (ob->use_bsmtp)
813   {
814   if (!transport_write_string(fd_in, "MAIL FROM:<%s>%s", return_path, eol))
815     goto END_WRITE;
816
817   for (address_item * a = addr; a; a = a->next)
818     if (!transport_write_string(fd_in,
819         "RCPT TO:<%s>%s",
820         transport_rcpt_address(a, tblock->rcpt_include_affixes),
821         eol))
822       goto END_WRITE;
823
824   if (!transport_write_string(fd_in, "DATA%s", eol)) goto END_WRITE;
825   }
826
827 /* Now the actual message */
828
829 if (!transport_write_message(&tctx, 0))
830     goto END_WRITE;
831
832 /* Now any configured suffix */
833
834 if (ob->message_suffix)
835   {
836   uschar *suffix = expand_string(ob->message_suffix);
837   if (!suffix)
838     {
839     addr->transport_return = f.search_find_defer? DEFER : PANIC;
840     addr->message = string_sprintf("Expansion of \"%s\" (suffix for %s "
841       "transport) failed: %s", ob->message_suffix, tblock->name,
842       expand_string_message);
843     return FALSE;
844     }
845   if (!transport_write_block(&tctx, suffix, Ustrlen(suffix), FALSE))
846     goto END_WRITE;
847   }
848
849 /* If local_smtp, write the terminating dot. */
850
851 if (ob->use_bsmtp && !transport_write_string(fd_in, ".%s", eol))
852   goto END_WRITE;
853
854 /* Flag all writing completed successfully. */
855
856 written_ok = TRUE;
857
858 /* Come here if there are errors during writing. */
859
860 END_WRITE:
861
862 /* OK, the writing is now all done. Close the pipe. */
863
864 (void) close(fd_in);
865
866 /* Handle errors during writing. For timeouts, set the timeout for waiting for
867 the child process to 1 second. If the process at the far end of the pipe died
868 without reading all of it, we expect an EPIPE error, which should be ignored.
869 We used also to ignore WRITEINCOMPLETE but the writing function is now cleverer
870 at handling OS where the death of a pipe doesn't give EPIPE immediately. See
871 comments therein. */
872
873 if (!written_ok)
874   {
875   if (errno == ETIMEDOUT)
876     {
877     addr->message = string_sprintf("%stimeout while writing to pipe",
878       f.transport_filter_timed_out ? "transport filter " : "");
879     addr->transport_return = ob->timeout_defer? DEFER : FAIL;
880     timeout = 1;
881     }
882   else if (errno == EPIPE)
883     {
884     debug_printf("transport error EPIPE ignored\n");
885     }
886   else
887     {
888     addr->transport_return = PANIC;
889     addr->basic_errno = errno;
890     if (errno == ERRNO_CHHEADER_FAIL)
891       addr->message =
892         string_sprintf("Failed to expand headers_add or headers_remove: %s",
893           expand_string_message);
894     else if (errno == ERRNO_FILTER_FAIL)
895       addr->message = string_sprintf("Transport filter process failed (%d)%s",
896       addr->more_errno,
897       (addr->more_errno == EX_EXECFAILED)? ": unable to execute command" : "");
898     else if (errno == ERRNO_WRITEINCOMPLETE)
899       addr->message = US"Failed repeatedly to write data";
900     else
901       addr->message = string_sprintf("Error %d", errno);
902     return FALSE;
903     }
904   }
905
906 /* Wait for the child process to complete and take action if the returned
907 status is nonzero. The timeout will be just 1 second if any of the writes
908 above timed out. */
909
910 if ((rc = child_close(pid, timeout)) != 0)
911   {
912   uschar * tmsg = addr->message
913     ? string_sprintf(" (preceded by %s)", addr->message) : US"";
914
915   /* The process did not complete in time; kill its process group and fail
916   the delivery. It appears to be necessary to kill the output process too, as
917   otherwise it hangs on for some time if the actual pipe process is sleeping.
918   (At least, that's what I observed on Solaris 2.5.1.) Since we are failing
919   the delivery, that shouldn't cause any problem. */
920
921   if (rc == -256)
922     {
923     killpg(pid, SIGKILL);
924     kill(outpid, SIGKILL);
925     addr->transport_return = ob->timeout_defer? DEFER : FAIL;
926     addr->message = string_sprintf("pipe delivery process timed out%s", tmsg);
927     }
928
929   /* Wait() failed. */
930
931   else if (rc == -257)
932     {
933     addr->transport_return = PANIC;
934     addr->message = string_sprintf("Wait() failed for child process of %s "
935       "transport: %s%s", tblock->name, strerror(errno), tmsg);
936     }
937
938   /* Since the transport_filter timed out we assume it has sent the child process
939   a malformed or incomplete data stream.  Kill off the child process
940   and prevent checking its exit status as it will has probably exited in error.
941   This prevents the transport_filter timeout message from getting overwritten
942   by the exit error which is not the cause of the problem. */
943
944   else if (f.transport_filter_timed_out)
945     {
946     killpg(pid, SIGKILL);
947     kill(outpid, SIGKILL);
948     }
949
950   /* Either the process completed, but yielded a non-zero (necessarily
951   positive) status, or the process was terminated by a signal (rc will contain
952   the negation of the signal number). Treat killing by signal as failure unless
953   status is being ignored. By default, the message is bounced back, unless
954   freeze_signal is set, in which case it is frozen instead. */
955
956   else if (rc < 0)
957     {
958     if (ob->freeze_signal)
959       {
960       addr->transport_return = DEFER;
961       addr->special_action = SPECIAL_FREEZE;
962       addr->message = string_sprintf("Child process of %s transport (running "
963         "command \"%s\") was terminated by signal %d (%s)%s", tblock->name, cmd,
964         -rc, os_strsignal(-rc), tmsg);
965       }
966     else if (!ob->ignore_status)
967       {
968       addr->transport_return = FAIL;
969       addr->message = string_sprintf("Child process of %s transport (running "
970         "command \"%s\") was terminated by signal %d (%s)%s", tblock->name, cmd,
971         -rc, os_strsignal(-rc), tmsg);
972       }
973     }
974
975   /* For positive values (process terminated with non-zero status), we need a
976   status code to request deferral. A number of systems contain the following
977   line in sysexits.h:
978
979       #define EX_TEMPFAIL 75
980
981   with the description
982
983       EX_TEMPFAIL -- temporary failure, indicating something that
984          is not really an error.  In sendmail, this means
985          that a mailer (e.g.) could not create a connection,
986          and the request should be reattempted later.
987
988   Based on this, we use exit code EX_TEMPFAIL as a default to mean "defer" when
989   not ignoring the returned status. However, there is now an option that
990   contains a list of temporary codes, with TEMPFAIL and CANTCREAT as defaults.
991
992   Another case that needs special treatment is if execve() failed (typically
993   the command that was given is a non-existent path). By default this is
994   treated as just another failure, but if freeze_exec_fail is set, the reaction
995   is to freeze the message rather than bounce the address. Exim used to signal
996   this failure with EX_UNAVAILABLE, which is defined in many systems as
997
998       #define EX_UNAVAILABLE  69
999
1000   with the description
1001
1002       EX_UNAVAILABLE -- A service is unavailable.  This can occur
1003             if a support program or file does not exist.  This
1004             can also be used as a catchall message when something
1005             you wanted to do doesn't work, but you don't know why.
1006
1007   However, this can be confused with a command that actually returns 69 because
1008   something *it* wanted is unavailable. At release 4.21, Exim was changed to
1009   use return code 127 instead, because this is what the shell returns when it
1010   is unable to exec a command. We define it as EX_EXECFAILED, and use it in
1011   child.c to signal execve() failure and other unexpected failures such as
1012   setuid() not working - though that won't be the case here because we aren't
1013   changing uid. */
1014
1015   else
1016     {
1017     /* Always handle execve() failure specially if requested to */
1018
1019     if (ob->freeze_exec_fail  &&  rc == EX_EXECFAILED)
1020       {
1021       addr->transport_return = DEFER;
1022       addr->special_action = SPECIAL_FREEZE;
1023       addr->message = string_sprintf("pipe process failed to exec \"%s\"%s",
1024         cmd, tmsg);
1025       }
1026
1027     /* Otherwise take action only if not ignoring status */
1028
1029     else if (!ob->ignore_status)
1030       {
1031       uschar *ss;
1032       gstring * g;
1033
1034       /* If temp_errors is "*" all codes are temporary. Initialization checks
1035       that it's either "*" or a list of numbers. If not "*", scan the list of
1036       temporary failure codes; if any match, the result is DEFER. */
1037
1038       if (ob->temp_errors[0] == '*')
1039         addr->transport_return = DEFER;
1040
1041       else
1042         {
1043         const uschar *s = ob->temp_errors;
1044         uschar *p;
1045         int sep = 0;
1046
1047         addr->transport_return = FAIL;
1048         while ((p = string_nextinlist(&s,&sep,NULL,0)))
1049           if (rc == Uatoi(p)) { addr->transport_return = DEFER; break; }
1050         }
1051
1052       /* Ensure the message contains the expanded command and arguments. This
1053       doesn't have to be brilliantly efficient - it is an error situation. */
1054
1055       addr->message = string_sprintf("Child process of %s transport returned "
1056         "%d", tblock->name, rc);
1057       g = string_cat(NULL, addr->message);
1058
1059       /* If the return code is > 128, it often means that a shell command
1060       was terminated by a signal. */
1061
1062       ss = (rc > 128)?
1063         string_sprintf("(could mean shell command ended by signal %d (%s))",
1064           rc-128, os_strsignal(rc-128)) :
1065         US os_strexit(rc);
1066
1067       if (*ss)
1068         {
1069         g = string_catn(g, US" ", 1);
1070         g = string_cat (g, ss);
1071         }
1072
1073       /* Now add the command and arguments */
1074
1075       g = string_catn(g, US" from command:", 14);
1076
1077       for (int i = 0; i < sizeof(argv)/sizeof(int *) && argv[i] != NULL; i++)
1078         {
1079         BOOL quote = FALSE;
1080         g = string_catn(g, US" ", 1);
1081         if (Ustrpbrk(argv[i], " \t") != NULL)
1082           {
1083           quote = TRUE;
1084           g = string_catn(g, US"\"", 1);
1085           }
1086         g = string_cat(g, argv[i]);
1087         if (quote)
1088           g = string_catn(g, US"\"", 1);
1089         }
1090
1091       /* Add previous filter timeout message, if present. */
1092
1093       if (*tmsg)
1094         g = string_cat(g, tmsg);
1095
1096       addr->message = string_from_gstring(g);
1097       }
1098     }
1099   }
1100
1101 /* Ensure all subprocesses (in particular, the output handling process)
1102 are complete before we pass this point. */
1103
1104 while (wait(&rc) >= 0);
1105
1106 DEBUG(D_transport) debug_printf("%s transport yielded %d\n", tblock->name,
1107   addr->transport_return);
1108
1109 /* If there has been a problem, the message in addr->message contains details
1110 of the pipe command. We don't want to expose these to the world, so we set up
1111 something bland to return to the sender. */
1112
1113 if (addr->transport_return != OK)
1114   addr->user_message = US"local delivery failed";
1115
1116 return FALSE;
1117 }
1118
1119 #endif  /*!MACRO_PREDEF*/
1120 /* End of transport/pipe.c */