f4baf0c771406444e70331a218b2ee861213d333
[users/heiko/exim.git] / src / src / transports / appendfile.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2018 */
6 /* Copyright (c) The Exim maintainers 2020 */
7 /* See the file NOTICE for conditions of use and distribution. */
8
9
10 #include "../exim.h"
11 #include "appendfile.h"
12
13 #ifdef SUPPORT_MAILDIR
14 #include "tf_maildir.h"
15 #endif
16
17
18 /* Options specific to the appendfile transport. They must be in alphabetic
19 order (note that "_" comes before the lower case letters). Some of them are
20 stored in the publicly visible instance block - these are flagged with the
21 opt_public flag. */
22 #define LOFF(field) OPT_OFF(appendfile_transport_options_block, field)
23
24 optionlist appendfile_transport_options[] = {
25 #ifdef SUPPORT_MAILDIR
26   { "*expand_maildir_use_size_file", opt_stringptr, LOFF(expand_maildir_use_size_file) },
27 #endif
28   { "*set_use_fcntl_lock",opt_bool | opt_hidden, LOFF(set_use_fcntl) },
29   { "*set_use_flock_lock",opt_bool | opt_hidden, LOFF(set_use_flock) },
30   { "*set_use_lockfile", opt_bool | opt_hidden, LOFF(set_use_lockfile) },
31 #ifdef SUPPORT_MBX
32   { "*set_use_mbx_lock", opt_bool | opt_hidden, LOFF(set_use_mbx_lock) },
33 #endif
34   { "allow_fifo",        opt_bool,      LOFF(allow_fifo) },
35   { "allow_symlink",     opt_bool,      LOFF(allow_symlink) },
36   { "batch_id",          opt_stringptr | opt_public, OPT_OFF(transport_instance, batch_id) },
37   { "batch_max",         opt_int | opt_public, OPT_OFF(transport_instance, batch_max) },
38   { "check_group",       opt_bool,      LOFF(check_group) },
39   { "check_owner",       opt_bool,      LOFF(check_owner) },
40   { "check_string",      opt_stringptr, LOFF(check_string) },
41   { "create_directory",  opt_bool,      LOFF(create_directory) },
42   { "create_file",       opt_stringptr, LOFF(create_file_string) },
43   { "directory",         opt_stringptr, LOFF(dirname) },
44   { "directory_file",    opt_stringptr, LOFF(dirfilename) },
45   { "directory_mode",    opt_octint,    LOFF(dirmode) },
46   { "escape_string",     opt_stringptr, LOFF(escape_string) },
47   { "file",              opt_stringptr, LOFF(filename) },
48   { "file_format",       opt_stringptr, LOFF(file_format) },
49   { "file_must_exist",   opt_bool,      LOFF(file_must_exist) },
50   { "lock_fcntl_timeout", opt_time,     LOFF(lock_fcntl_timeout) },
51   { "lock_flock_timeout", opt_time,     LOFF(lock_flock_timeout) },
52   { "lock_interval",     opt_time,      LOFF(lock_interval) },
53   { "lock_retries",      opt_int,       LOFF(lock_retries) },
54   { "lockfile_mode",     opt_octint,    LOFF(lockfile_mode) },
55   { "lockfile_timeout",  opt_time,      LOFF(lockfile_timeout) },
56   { "mailbox_filecount", opt_stringptr, LOFF(mailbox_filecount_string) },
57   { "mailbox_size",      opt_stringptr, LOFF(mailbox_size_string) },
58 #ifdef SUPPORT_MAILDIR
59   { "maildir_format",    opt_bool,      LOFF(maildir_format ) } ,
60   { "maildir_quota_directory_regex", opt_stringptr, LOFF(maildir_dir_regex) },
61   { "maildir_retries",   opt_int,       LOFF(maildir_retries) },
62   { "maildir_tag",       opt_stringptr, LOFF(maildir_tag) },
63   { "maildir_use_size_file", opt_expand_bool, LOFF(maildir_use_size_file ) } ,
64   { "maildirfolder_create_regex", opt_stringptr, LOFF(maildirfolder_create_regex ) },
65 #endif  /* SUPPORT_MAILDIR */
66 #ifdef SUPPORT_MAILSTORE
67   { "mailstore_format",  opt_bool,      LOFF(mailstore_format ) },
68   { "mailstore_prefix",  opt_stringptr, LOFF(mailstore_prefix ) },
69   { "mailstore_suffix",  opt_stringptr, LOFF(mailstore_suffix ) },
70 #endif  /* SUPPORT_MAILSTORE */
71 #ifdef SUPPORT_MBX
72   { "mbx_format",        opt_bool,      LOFF(mbx_format ) } ,
73 #endif  /* SUPPORT_MBX */
74   { "message_prefix",    opt_stringptr, LOFF(message_prefix) },
75   { "message_suffix",    opt_stringptr, LOFF(message_suffix) },
76   { "mode",              opt_octint,    LOFF(mode) },
77   { "mode_fail_narrower",opt_bool,      LOFF(mode_fail_narrower) },
78   { "notify_comsat",     opt_bool,      LOFF(notify_comsat) },
79   { "quota",             opt_stringptr, LOFF(quota) },
80   { "quota_directory",   opt_stringptr, LOFF(quota_directory) },
81   { "quota_filecount",   opt_stringptr, LOFF(quota_filecount) },
82   { "quota_is_inclusive", opt_bool,     LOFF(quota_is_inclusive) },
83   { "quota_size_regex",   opt_stringptr, LOFF(quota_size_regex) },
84   { "quota_warn_message", opt_stringptr | opt_public, OPT_OFF(transport_instance, warn_message) },
85   { "quota_warn_threshold", opt_stringptr, LOFF(quota_warn_threshold) },
86   { "use_bsmtp",         opt_bool,      LOFF(use_bsmtp) },
87   { "use_crlf",          opt_bool,      LOFF(use_crlf) },
88   { "use_fcntl_lock",    opt_bool_set,  LOFF(use_fcntl) },
89   { "use_flock_lock",    opt_bool_set,  LOFF(use_flock) },
90   { "use_lockfile",      opt_bool_set,  LOFF(use_lockfile) },
91 #ifdef SUPPORT_MBX
92   { "use_mbx_lock",      opt_bool_set,  LOFF(use_mbx_lock) },
93 #endif  /* SUPPORT_MBX */
94 };
95
96 /* Size of the options list. An extern variable has to be used so that its
97 address can appear in the tables drtables.c. */
98
99 int appendfile_transport_options_count =
100   sizeof(appendfile_transport_options)/sizeof(optionlist);
101
102
103 #ifdef MACRO_PREDEF
104
105 /* Dummy values */
106 appendfile_transport_options_block appendfile_transport_option_defaults = {0};
107 void appendfile_transport_init(transport_instance *tblock) {}
108 BOOL appendfile_transport_entry(transport_instance *tblock, address_item *addr) {return FALSE;}
109
110 #else   /*!MACRO_PREDEF*/
111
112 /* Default private options block for the appendfile transport. */
113
114 appendfile_transport_options_block appendfile_transport_option_defaults = {
115   NULL,           /* filename */
116   NULL,           /* dirname */
117   US"q${base62:$tod_epoch}-$inode", /* dirfilename */
118   NULL,           /* message_prefix (default reset in init if not bsmtp) */
119   NULL,           /* message_suffix (ditto) */
120   US"anywhere",   /* create_file_string (string value for create_file) */
121   NULL,           /* quota */
122   NULL,           /* quota_directory */
123   NULL,           /* quota_filecount */
124   NULL,           /* quota_size_regex */
125   NULL,           /* quota_warn_threshold */
126   NULL,           /* mailbox_size_string */
127   NULL,           /* mailbox_filecount_string */
128   NULL,           /* expand_maildir_use_size_file */
129   US"^(?:cur|new|\\..*)$",  /* maildir_dir_regex */
130   NULL,           /* maildir_tag */
131   NULL,           /* maildirfolder_create_regex */
132   NULL,           /* mailstore_prefix */
133   NULL,           /* mailstore_suffix */
134   NULL,           /* check_string (default changed for non-bsmtp file)*/
135   NULL,           /* escape_string (ditto) */
136   NULL,           /* file_format */
137   0,              /* quota_value */
138   0,              /* quota_warn_threshold_value */
139   -1,             /* mailbox_size_value */
140   -1,             /* mailbox_filecount_value */
141   0,              /* quota_filecount_value */
142   APPENDFILE_MODE,           /* mode */
143   APPENDFILE_DIRECTORY_MODE, /* dirmode */
144   APPENDFILE_LOCKFILE_MODE,  /* lockfile_mode */
145   30*60,          /* lockfile_timeout */
146   0,              /* lock_fcntl_timeout */
147   0,              /* lock_flock_timeout */
148   10,             /* lock_retries */
149    3,             /* lock_interval */
150   10,             /* maildir_retries */
151   create_anywhere,/* create_file */
152   0,              /* options */
153   FALSE,          /* allow_fifo */
154   FALSE,          /* allow_symlink */
155   FALSE,          /* check_group */
156   TRUE,           /* check_owner */
157   TRUE,           /* create_directory */
158   FALSE,          /* notify_comsat */
159   TRUE,           /* use_lockfile */
160   FALSE,          /* set_use_lockfile */
161   TRUE,           /* use_fcntl */
162   FALSE,          /* set_use_fcntl */
163   FALSE,          /* use_flock */
164   FALSE,          /* set_use_flock */
165   FALSE,          /* use_mbx_lock */
166   FALSE,          /* set_use_mbx_lock */
167   FALSE,          /* use_bsmtp */
168   FALSE,          /* use_crlf */
169   FALSE,          /* file_must_exist */
170   TRUE,           /* mode_fail_narrower */
171   FALSE,          /* maildir_format */
172   FALSE,          /* maildir_use_size_file */
173   FALSE,          /* mailstore_format */
174   FALSE,          /* mbx_format */
175   FALSE,          /* quota_warn_threshold_is_percent */
176   TRUE,           /* quota_is_inclusive */
177   FALSE,          /* quota_no_check */
178   FALSE           /* quota_filecount_no_check */
179 };
180
181
182 /* Encodings for mailbox formats, and their names. MBX format is actually
183 supported only if SUPPORT_MBX is set. */
184
185 enum { mbf_unix, mbf_mbx, mbf_smail, mbf_maildir, mbf_mailstore };
186
187 static const char *mailbox_formats[] = {
188   "unix", "mbx", "smail", "maildir", "mailstore" };
189
190
191 /* Check warn threshold only if quota size set or not a percentage threshold
192    percentage check should only be done if quota > 0 */
193
194 #define THRESHOLD_CHECK  (ob->quota_warn_threshold_value > 0 && \
195   (!ob->quota_warn_threshold_is_percent || ob->quota_value > 0))
196
197
198
199 /*************************************************
200 *              Setup entry point                 *
201 *************************************************/
202
203 /* Called for each delivery in the privileged state, just before the uid/gid
204 are changed and the main entry point is called. We use this function to
205 expand any quota settings, so that it can access files that may not be readable
206 by the user. It is also used to pick up external mailbox size information, if
207 set.
208
209 Arguments:
210   tblock     points to the transport instance
211   addrlist   addresses about to be delivered (not used)
212   dummy      not used (doesn't pass back data)
213   uid        the uid that will be set (not used)
214   gid        the gid that will be set (not used)
215   errmsg     where to put an error message
216
217 Returns:     OK, FAIL, or DEFER
218 */
219
220 static int
221 appendfile_transport_setup(transport_instance *tblock, address_item *addrlist,
222   transport_feedback *dummy, uid_t uid, gid_t gid, uschar **errmsg)
223 {
224 appendfile_transport_options_block *ob =
225   (appendfile_transport_options_block *)(tblock->options_block);
226 uschar *q = ob->quota;
227 double default_value = 0.0;
228
229 addrlist = addrlist;    /* Keep picky compilers happy */
230 dummy = dummy;
231 uid = uid;
232 gid = gid;
233
234 if (ob->expand_maildir_use_size_file)
235         ob->maildir_use_size_file = expand_check_condition(ob->expand_maildir_use_size_file,
236                 US"`maildir_use_size_file` in transport", tblock->name);
237
238 /* Loop for quota, quota_filecount, quota_warn_threshold, mailbox_size,
239 mailbox_filecount */
240
241 for (int i = 0; i < 5; i++)
242   {
243   double d;
244   int no_check = 0;
245   uschar *which = NULL;
246
247   if (q == NULL) d = default_value;
248   else
249     {
250     uschar *rest;
251     uschar *s = expand_string(q);
252
253     if (!s)
254       {
255       *errmsg = string_sprintf("Expansion of \"%s\" in %s transport failed: "
256         "%s", q, tblock->name, expand_string_message);
257       return f.search_find_defer ? DEFER : FAIL;
258       }
259
260     d = Ustrtod(s, &rest);
261
262     /* Handle following characters K, M, G, %, the latter being permitted
263     for quota_warn_threshold only. A threshold with no quota setting is
264     just ignored. */
265
266     if (tolower(*rest) == 'k') { d *= 1024.0; rest++; }
267     else if (tolower(*rest) == 'm') { d *= 1024.0*1024.0; rest++; }
268     else if (tolower(*rest) == 'g') { d *= 1024.0*1024.0*1024.0; rest++; }
269     else if (*rest == '%' && i == 2)
270       {
271       if (ob->quota_value <= 0 && !ob->maildir_use_size_file)
272         d = 0;
273       else if ((int)d < 0 || (int)d > 100)
274         {
275         *errmsg = string_sprintf("Invalid quota_warn_threshold percentage (%d)"
276           " for %s transport", (int)d, tblock->name);
277         return FAIL;
278         }
279       ob->quota_warn_threshold_is_percent = TRUE;
280       rest++;
281       }
282
283
284     /* For quota and quota_filecount there may be options
285     appended. Currently only "no_check", so we can be lazy parsing it */
286     if (i < 2 && Ustrstr(rest, "/no_check") == rest)
287       {
288        no_check = 1;
289        rest += sizeof("/no_check") - 1;
290       }
291
292     while (isspace(*rest)) rest++;
293
294     if (*rest != 0)
295       {
296       *errmsg = string_sprintf("Malformed value \"%s\" (expansion of \"%s\") "
297         "in %s transport", s, q, tblock->name);
298       return FAIL;
299       }
300     }
301
302   /* Set each value, checking for possible overflow. */
303
304   switch (i)
305     {
306     case 0:
307       if (d >= 2.0*1024.0*1024.0*1024.0 && sizeof(off_t) <= 4)
308         which = US"quota";
309       ob->quota_value = (off_t)d;
310       ob->quota_no_check = no_check;
311       q = ob->quota_filecount;
312       break;
313
314     case 1:
315       if (d >= 2.0*1024.0*1024.0*1024.0)
316         which = US"quota_filecount";
317       ob->quota_filecount_value = (int)d;
318       ob->quota_filecount_no_check = no_check;
319       q = ob->quota_warn_threshold;
320       break;
321
322     case 2:
323     if (d >= 2.0*1024.0*1024.0*1024.0 && sizeof(off_t) <= 4)
324         which = US"quota_warn_threshold";
325       ob->quota_warn_threshold_value = (off_t)d;
326       q = ob->mailbox_size_string;
327       default_value = -1.0;
328       break;
329
330     case 3:
331       if (d >= 2.0*1024.0*1024.0*1024.0 && sizeof(off_t) <= 4)
332         which = US"mailbox_size";;
333       ob->mailbox_size_value = (off_t)d;
334       q = ob->mailbox_filecount_string;
335       break;
336
337     case 4:
338       if (d >= 2.0*1024.0*1024.0*1024.0)
339         which = US"mailbox_filecount";
340       ob->mailbox_filecount_value = (int)d;
341       break;
342     }
343
344   if (which)
345     {
346     *errmsg = string_sprintf("%s value %.10g is too large (overflow) in "
347       "%s transport", which, d, tblock->name);
348     return FAIL;
349     }
350   }
351
352 return OK;
353 }
354
355
356
357 /*************************************************
358 *          Initialization entry point            *
359 *************************************************/
360
361 /* Called for each instance, after its options have been read, to
362 enable consistency checks to be done, or anything else that needs
363 to be set up. */
364
365 void
366 appendfile_transport_init(transport_instance *tblock)
367 {
368 appendfile_transport_options_block *ob =
369   (appendfile_transport_options_block *)(tblock->options_block);
370
371 /* Set up the setup entry point, to be called in the privileged state */
372
373 tblock->setup = appendfile_transport_setup;
374
375 /* Lock_retries must be greater than zero */
376
377 if (ob->lock_retries == 0) ob->lock_retries = 1;
378
379 /* Only one of a file name or directory name must be given. */
380
381 if (ob->filename && ob->dirname)
382   log_write(0, LOG_PANIC_DIE|LOG_CONFIG_FOR, "%s transport:\n  "
383   "only one of \"file\" or \"directory\" can be specified", tblock->name);
384
385 /* If a file name was specified, neither quota_filecount nor quota_directory
386 must be given. */
387
388 if (ob->filename)
389   {
390   if (ob->quota_filecount)
391     log_write(0, LOG_PANIC_DIE|LOG_CONFIG_FOR, "%s transport:\n  "
392       "quota_filecount must not be set without \"directory\"", tblock->name);
393   if (ob->quota_directory)
394     log_write(0, LOG_PANIC_DIE|LOG_CONFIG_FOR, "%s transport:\n  "
395       "quota_directory must not be set without \"directory\"", tblock->name);
396   }
397
398 /* The default locking depends on whether MBX is set or not. Change the
399 built-in default if none of the lock options has been explicitly set. At least
400 one form of locking is required in all cases, but mbx locking changes the
401 meaning of fcntl and flock locking. */
402
403 /* Not all operating systems provide flock(). For those that do, if flock is
404 requested, the default for fcntl is FALSE. */
405
406 if (ob->use_flock)
407   {
408   #ifdef NO_FLOCK
409   log_write(0, LOG_PANIC_DIE|LOG_CONFIG_FOR, "%s transport:\n  "
410     "flock() support was not available in the operating system when this "
411     "binary was built", tblock->name);
412   #endif  /* NO_FLOCK */
413   if (!ob->set_use_fcntl) ob->use_fcntl = FALSE;
414   }
415
416 #ifdef SUPPORT_MBX
417 if (ob->mbx_format)
418   if (!ob->set_use_lockfile && !ob->set_use_fcntl && !ob->set_use_flock &&
419       !ob->set_use_mbx_lock)
420     {
421     ob->use_lockfile = ob->use_flock = FALSE;
422     ob->use_mbx_lock = ob->use_fcntl = TRUE;
423     }
424   else if (ob->use_mbx_lock)
425     {
426     if (!ob->set_use_lockfile) ob->use_lockfile = FALSE;
427     if (!ob->set_use_fcntl) ob->use_fcntl = FALSE;
428     if (!ob->set_use_flock) ob->use_flock = FALSE;
429     if (!ob->use_fcntl && !ob->use_flock) ob->use_fcntl = TRUE;
430     }
431 #endif  /* SUPPORT_MBX */
432
433 if (!ob->use_fcntl && !ob->use_flock && !ob->use_lockfile && !ob->use_mbx_lock)
434   log_write(0, LOG_PANIC_DIE|LOG_CONFIG_FOR, "%s transport:\n  "
435     "no locking configured", tblock->name);
436
437 /* Unset timeouts for non-used locking types */
438
439 if (!ob->use_fcntl) ob->lock_fcntl_timeout = 0;
440 if (!ob->use_flock) ob->lock_flock_timeout = 0;
441
442 /* If a directory name was specified, only one of maildir or mailstore may be
443 specified, and if quota_filecount or quota_directory is given, quota must
444 be set. */
445
446 if (ob->dirname)
447   {
448   if (ob->maildir_format && ob->mailstore_format)
449     log_write(0, LOG_PANIC_DIE|LOG_CONFIG_FOR, "%s transport:\n  "
450       "only one of maildir and mailstore may be specified", tblock->name);
451   if (ob->quota_filecount != NULL && ob->quota == NULL)
452     log_write(0, LOG_PANIC_DIE|LOG_CONFIG_FOR, "%s transport:\n  "
453       "quota must be set if quota_filecount is set", tblock->name);
454   if (ob->quota_directory != NULL && ob->quota == NULL)
455     log_write(0, LOG_PANIC_DIE|LOG_CONFIG_FOR, "%s transport:\n  "
456       "quota must be set if quota_directory is set", tblock->name);
457   }
458
459 /* If a fixed uid field is set, then a gid field must also be set. */
460
461 if (tblock->uid_set && !tblock->gid_set && !tblock->expand_gid)
462   log_write(0, LOG_PANIC_DIE|LOG_CONFIG,
463     "user set without group for the %s transport", tblock->name);
464
465 /* If "create_file" is set, check that a valid option is given, and set the
466 integer variable. */
467
468 if (ob->create_file_string)
469   {
470   int value = 0;
471   if (Ustrcmp(ob->create_file_string, "anywhere") == 0)
472     value = create_anywhere;
473   else if (Ustrcmp(ob->create_file_string, "belowhome") == 0)
474     value = create_belowhome;
475   else if (Ustrcmp(ob->create_file_string, "inhome") == 0)
476     value = create_inhome;
477   else
478     log_write(0, LOG_PANIC_DIE|LOG_CONFIG,
479       "invalid value given for \"file_create\" for the %s transport: %s",
480         tblock->name, ob->create_file_string);
481   ob->create_file = value;
482   }
483
484 /* If quota_warn_threshold is set, set up default for warn_message. It may
485 not be used if the actual threshold for a given delivery ends up as zero,
486 of if it's given as a percentage and there's no quota setting. */
487
488 if (ob->quota_warn_threshold)
489   {
490   if (!tblock->warn_message) tblock->warn_message = US
491     "To: $local_part@$domain\n"
492     "Subject: Your mailbox\n\n"
493     "This message is automatically created by mail delivery software (Exim).\n\n"
494     "The size of your mailbox has exceeded a warning threshold that is\n"
495     "set by the system administrator.\n";
496   }
497
498 /* If batch SMTP is set, force the check and escape strings, and arrange that
499 headers are also escaped. */
500
501 if (ob->use_bsmtp)
502   {
503   ob->check_string = US".";
504   ob->escape_string = US"..";
505   ob->options |= topt_escape_headers;
506   }
507
508 /* If not batch SMTP, not maildir, not mailstore, and directory is not set,
509 insert default values for for the affixes and the check/escape strings. */
510
511 else if (!ob->dirname && !ob->maildir_format && !ob->mailstore_format)
512   {
513   if (!ob->message_prefix) ob->message_prefix =
514     US"From ${if def:return_path{$return_path}{MAILER-DAEMON}} ${tod_bsdinbox}\n";
515   if (!ob->message_suffix) ob->message_suffix = US"\n";
516   if (!ob->check_string) ob->check_string = US"From ";
517   if (!ob->escape_string) ob->escape_string = US">From ";
518
519   }
520
521 /* Set up the bitwise options for transport_write_message from the various
522 driver options. Only one of body_only and headers_only can be set. */
523
524 ob->options |=
525   (tblock->body_only ? topt_no_headers : 0) |
526   (tblock->headers_only ? topt_no_body : 0) |
527   (tblock->return_path_add ? topt_add_return_path : 0) |
528   (tblock->delivery_date_add ? topt_add_delivery_date : 0) |
529   (tblock->envelope_to_add ? topt_add_envelope_to : 0) |
530   ((ob->use_crlf || ob->mbx_format) ? topt_use_crlf : 0);
531 }
532
533
534
535 /*************************************************
536 *                  Notify comsat                 *
537 *************************************************/
538
539 /* The comsat daemon is the thing that provides asynchronous notification of
540 the arrival of local messages, if requested by the user by "biff y". It is a
541 BSD thing that uses a TCP/IP protocol for communication. A message consisting
542 of the text "user@offset" must be sent, where offset is the place in the
543 mailbox where new mail starts. There is no scope for telling it which file to
544 look at, which makes it a less than useful if mail is being delivered into a
545 non-standard place such as the user's home directory. In fact, it doesn't seem
546 to pay much attention to the offset.
547
548 Arguments:
549   user       user name
550   offset     offset in mailbox
551
552 Returns:     nothing
553 */
554
555 static void
556 notify_comsat(uschar *user, off_t offset)
557 {
558 struct servent *sp;
559 host_item host;
560 uschar * s;
561
562 DEBUG(D_transport) debug_printf("notify_comsat called\n");
563
564 s = string_sprintf("%.200s@" OFF_T_FMT "\n", user, offset);
565
566 if ((sp = getservbyname("biff", "udp")) == NULL)
567   {
568   DEBUG(D_transport) debug_printf("biff/udp is an unknown service");
569   return;
570   }
571
572 host.name = US"localhost";
573 host.next = NULL;
574
575
576 /* This code is all set up to look up "localhost" and use all its addresses
577 until one succeeds. However, it appears that at least on some systems, comsat
578 doesn't listen on the ::1 address. So for the moment, just force the address to
579 be 127.0.0.1. At some future stage, when IPv6 really is superseding IPv4, this
580 can be changed. (But actually, comsat is probably dying out anyway.) */
581
582 /******
583 if (host_find_byname(&host, NULL, 0, NULL, FALSE) == HOST_FIND_FAILED)
584   {
585   DEBUG(D_transport) debug_printf("\"localhost\" unknown\n");
586   return;
587   }
588 ******/
589
590 host.address = US"127.0.0.1";
591
592
593 for (host_item * h = &host; h; h = h->next)
594   {
595   int sock, rc;
596   int host_af = Ustrchr(h->address, ':') != NULL ? AF_INET6 : AF_INET;
597
598   DEBUG(D_transport) debug_printf("calling comsat on %s\n", h->address);
599
600   if ((sock = ip_socket(SOCK_DGRAM, host_af)) < 0) continue;
601
602   /* Connect never fails for a UDP socket, so don't set a timeout. */
603
604   (void)ip_connect(sock, host_af, h->address, ntohs(sp->s_port), 0, NULL);
605   rc = send(sock, s, Ustrlen(s) + 1, 0);
606   (void)close(sock);
607
608   if (rc >= 0) break;
609   DEBUG(D_transport)
610     debug_printf("send to comsat failed for %s: %s\n", strerror(errno),
611       h->address);
612   }
613 }
614
615
616
617 /*************************************************
618 *     Check the format of a file                 *
619 *************************************************/
620
621 /* This function is called when file_format is set, to check that an existing
622 file has the right format. The format string contains text/transport pairs. The
623 string matching is literal. we just read big_buffer_size bytes, because this is
624 all about the first few bytes of a file.
625
626 Arguments:
627   cfd          the open file
628   tblock       the transport block
629   addr         the address block - for inserting error data
630
631 Returns:       pointer to the required transport, or NULL
632 */
633
634 transport_instance *
635 check_file_format(int cfd, transport_instance *tblock, address_item *addr)
636 {
637 const uschar *format =
638   ((appendfile_transport_options_block *)(tblock->options_block))->file_format;
639 uschar data[256];
640 int len = read(cfd, data, sizeof(data));
641 int sep = 0;
642 uschar *s;
643
644 DEBUG(D_transport) debug_printf("checking file format\n");
645
646 /* An empty file matches the current transport */
647
648 if (len == 0) return tblock;
649
650 /* Search the formats for a match */
651
652 while ((s = string_nextinlist(&format,&sep,big_buffer,big_buffer_size)))
653   {
654   int slen = Ustrlen(s);
655   BOOL match = len >= slen && Ustrncmp(data, s, slen) == 0;
656   uschar *tp = string_nextinlist(&format, &sep, big_buffer, big_buffer_size);
657
658   if (match && tp)
659     {
660     for (transport_instance * tt = transports; tt; tt = tt->next)
661       if (Ustrcmp(tp, tt->name) == 0)
662         {
663         DEBUG(D_transport)
664           debug_printf("file format -> %s transport\n", tt->name);
665         return tt;
666         }
667     addr->basic_errno = ERRNO_BADTRANSPORT;
668     addr->message = string_sprintf("%s transport (for %.*s format) not found",
669       tp, slen, data);
670     return NULL;
671     }
672   }
673
674 /* Failed to find a match */
675
676 addr->basic_errno = ERRNO_FORMATUNKNOWN;
677 addr->message = US"mailbox file format unrecognized";
678 return NULL;
679 }
680
681
682
683
684 /*************************************************
685 *       Check directory's files for quota        *
686 *************************************************/
687
688 /* This function is called if quota is set for one of the delivery modes that
689 delivers into a specific directory. It scans the directory and stats all the
690 files in order to get a total size and count. This is an expensive thing to do,
691 but some people are prepared to bear the cost. Alternatively, if size_regex is
692 set, it is used as a regex to try to extract the size from the file name, a
693 strategy that some people use on maildir files on systems where the users have
694 no shell access.
695
696 The function is global, because it is also called from tf_maildir.c for maildir
697 folders (which should contain only regular files).
698
699 Note: Any problems can be written to debugging output, but cannot be written to
700 the log, because we are running as an unprivileged user here.
701
702 Arguments:
703   dirname       the name of the directory
704   countptr      where to add the file count (because this function recurses)
705   regex         a compiled regex to get the size from a name
706
707 Returns:        the sum of the sizes of the stattable files
708                 zero if the directory cannot be opened
709 */
710
711 off_t
712 check_dir_size(const uschar * dirname, int *countptr, const pcre *regex)
713 {
714 DIR *dir;
715 off_t sum = 0;
716 int count = *countptr;
717 struct dirent *ent;
718 struct stat statbuf;
719
720 if (!(dir = opendir(CS dirname))) return 0;
721
722 while ((ent = readdir(dir)))
723   {
724   uschar * path, * name = US ent->d_name;
725
726   if (Ustrcmp(name, ".") == 0 || Ustrcmp(name, "..") == 0) continue;
727
728   count++;
729
730   /* If there's a regex, try to find the size using it */
731
732   if (regex)
733     {
734     int ovector[6];
735     if (pcre_exec(regex, NULL, CS name, Ustrlen(name), 0, 0, ovector,6) >= 2)
736       {
737       uschar *endptr;
738       off_t size = (off_t)Ustrtod(name + ovector[2], &endptr);
739       if (endptr == name + ovector[3])
740         {
741         sum += size;
742         DEBUG(D_transport)
743           debug_printf("check_dir_size: size from %s is " OFF_T_FMT "\n", name,
744             size);
745         continue;
746         }
747       }
748     DEBUG(D_transport)
749       debug_printf("check_dir_size: regex did not match %s\n", name);
750     }
751
752   /* No regex or no match for the regex, or captured non-digits */
753
754   path = string_sprintf("%s/%s", dirname, name);
755
756   if (Ustat(path, &statbuf) < 0)
757     {
758     DEBUG(D_transport)
759       debug_printf("check_dir_size: stat error %d for %s: %s\n", errno, path,
760         strerror(errno));
761     }
762   else
763     if ((statbuf.st_mode & S_IFMT) == S_IFREG)
764       sum += statbuf.st_size / statbuf.st_nlink;
765     else if ((statbuf.st_mode & S_IFMT) == S_IFDIR)
766       sum += check_dir_size(path, &count, regex);
767   }
768
769 closedir(dir);
770 DEBUG(D_transport)
771   debug_printf("check_dir_size: dir=%s sum=" OFF_T_FMT " count=%d\n", dirname,
772     sum, count);
773
774 *countptr = count;
775 return sum;
776 }
777
778
779
780
781 /*************************************************
782 *         Apply a lock to a file descriptor      *
783 *************************************************/
784
785 /* This function applies a lock to a file descriptor, using a blocking or
786 non-blocking lock, depending on the timeout value. It can apply either or
787 both of a fcntl() and a flock() lock. However, not all OS support flock();
788 for those that don't, the use_flock option cannot be set.
789
790 Arguments:
791   fd          the file descriptor
792   fcntltype   type of lock, specified as F_WRLCK or F_RDLCK (that is, in
793                 fcntl() format); the flock() type is deduced if needed
794   dofcntl     do fcntl() locking
795   fcntltime   non-zero to use blocking fcntl()
796   doflock     do flock() locking
797   flocktime   non-zero to use blocking flock()
798
799 Returns:      yield of the fcntl() or flock() call, with errno preserved;
800               sigalrm_seen set if there has been a timeout
801 */
802
803 static int
804 apply_lock(int fd, int fcntltype, BOOL dofcntl, int fcntltime, BOOL doflock,
805     int flocktime)
806 {
807 int yield = 0;
808 int save_errno;
809 struct flock lock_data;
810 lock_data.l_type = fcntltype;
811 lock_data.l_whence = lock_data.l_start = lock_data.l_len = 0;
812
813 sigalrm_seen = FALSE;
814
815 if (dofcntl)
816   {
817   if (fcntltime > 0)
818     {
819     ALARM(fcntltime);
820     yield = fcntl(fd, F_SETLKW, &lock_data);
821     save_errno = errno;
822     ALARM_CLR(0);
823     errno = save_errno;
824     }
825   else yield = fcntl(fd, F_SETLK, &lock_data);
826   }
827
828 #ifndef NO_FLOCK
829 if (doflock && (yield >= 0))
830   {
831   int flocktype = (fcntltype == F_WRLCK) ? LOCK_EX : LOCK_SH;
832   if (flocktime > 0)
833     {
834     ALARM(flocktime);
835     yield = flock(fd, flocktype);
836     save_errno = errno;
837     ALARM_CLR(0);
838     errno = save_errno;
839     }
840   else yield = flock(fd, flocktype | LOCK_NB);
841   }
842 #endif  /* NO_FLOCK */
843
844 return yield;
845 }
846
847
848
849
850 #ifdef SUPPORT_MBX
851 /*************************************************
852 *         Copy message into MBX mailbox          *
853 *************************************************/
854
855 /* This function is called when a message intended for a MBX mailbox has been
856 written to a temporary file. We can now get the size of the message and then
857 copy it in MBX format to the mailbox.
858
859 Arguments:
860   to_fd        fd to write to (the real mailbox)
861   from_fd      fd to read from (the temporary file)
862   saved_size   current size of mailbox
863
864 Returns:       OK if all went well, DEFER otherwise, with errno preserved
865                the number of bytes written are added to transport_count
866                  by virtue of calling transport_write_block()
867 */
868
869 /* Values taken from c-client */
870
871 #define MBX_HDRSIZE            2048
872 #define MBX_NUSERFLAGS           30
873
874 static int
875 copy_mbx_message(int to_fd, int from_fd, off_t saved_size)
876 {
877 int used;
878 off_t size;
879 struct stat statbuf;
880 transport_ctx tctx = { .u={.fd = to_fd}, .options = topt_not_socket };
881
882 /* If the current mailbox size is zero, write a header block */
883
884 if (saved_size == 0)
885   {
886   uschar *s;
887   memset (deliver_out_buffer, '\0', MBX_HDRSIZE);
888   sprintf(CS(s = deliver_out_buffer), "*mbx*\015\012%08lx00000000\015\012",
889     (long int)time(NULL));
890   for (int i = 0; i < MBX_NUSERFLAGS; i++)
891     sprintf (CS(s += Ustrlen(s)), "\015\012");
892   if (!transport_write_block (&tctx, deliver_out_buffer, MBX_HDRSIZE, FALSE))
893     return DEFER;
894   }
895
896 DEBUG(D_transport) debug_printf("copying MBX message from temporary file\n");
897
898 /* Now construct the message's header from the time and the RFC822 file
899 size, including CRLFs, which is the size of the input (temporary) file. */
900
901 if (fstat(from_fd, &statbuf) < 0) return DEFER;
902 size = statbuf.st_size;
903
904 sprintf (CS deliver_out_buffer, "%s," OFF_T_FMT ";%08lx%04x-%08x\015\012",
905   tod_stamp(tod_mbx), size, 0L, 0, 0);
906 used = Ustrlen(deliver_out_buffer);
907
908 /* Rewind the temporary file, and copy it over in chunks. */
909
910 if (lseek(from_fd, 0 , SEEK_SET) < 0) return DEFER;
911
912 while (size > 0)
913   {
914   int len = read(from_fd, deliver_out_buffer + used,
915     DELIVER_OUT_BUFFER_SIZE - used);
916   if (len <= 0)
917     {
918     if (len == 0) errno = ERRNO_MBXLENGTH;
919     return DEFER;
920     }
921   if (!transport_write_block(&tctx, deliver_out_buffer, used + len, FALSE))
922     return DEFER;
923   size -= len;
924   used = 0;
925   }
926
927 return OK;
928 }
929 #endif  /* SUPPORT_MBX */
930
931
932
933 /*************************************************
934 *            Check creation is permitted         *
935 *************************************************/
936
937 /* This function checks whether a given file name is permitted to be created,
938 as controlled by the create_file option. If no home directory is set, however,
939 we can't do any tests.
940
941 Arguments:
942   filename     the file name
943   create_file  the ob->create_file option
944
945 Returns:       TRUE if creation is permitted
946 */
947
948 static BOOL
949 check_creation(uschar *filename, int create_file)
950 {
951 BOOL yield = TRUE;
952
953 if (deliver_home  &&  create_file != create_anywhere)
954   {
955   int len = Ustrlen(deliver_home);
956   uschar *file = filename;
957
958   while (file[0] == '/' && file[1] == '/') file++;
959   if (Ustrncmp(file, deliver_home, len) != 0 || file[len] != '/' ||
960        ( Ustrchr(file+len+2, '/') != NULL &&
961          (
962          create_file != create_belowhome ||
963          Ustrstr(file+len, "/../") != NULL
964          )
965        )
966      ) yield = FALSE;
967
968   /* If yield is TRUE, the file name starts with the home directory, and does
969   not contain any instances of "/../" in the "belowhome" case. However, it may
970   still contain symbolic links. We can check for this by making use of
971   realpath(), which most Unixes seem to have (but make it possible to cut this
972   out). We can't just use realpath() on the whole file name, because we know
973   the file itself doesn't exist, and intermediate directories may also not
974   exist. What we want to know is the real path of the longest existing part of
975   the path. That must match the home directory's beginning, whichever is the
976   shorter. */
977
978   #ifndef NO_REALPATH
979   if (yield && create_file == create_belowhome)
980     {
981     uschar *next;
982     uschar *rp = NULL;
983     for (uschar * slash = Ustrrchr(file, '/');  /* There is known to be one */
984          !rp && slash > file;                   /* Stop if reached beginning */
985          slash = next)
986       {
987       *slash = 0;
988       rp = US realpath(CS file, CS big_buffer);
989       next = Ustrrchr(file, '/');
990       *slash = '/';
991       }
992
993     /* If rp == NULL it means that none of the relevant directories exist.
994     This is not a problem here - it means that no symbolic links can exist,
995     which is all we are worried about. Otherwise, we must compare it
996     against the start of the home directory. However, that may itself
997     contain symbolic links, so we have to "realpath" it as well, if
998     possible. */
999
1000     if (rp)
1001       {
1002       uschar hdbuffer[PATH_MAX+1];
1003       uschar *rph = deliver_home;
1004       int rlen = Ustrlen(big_buffer);
1005
1006       if ((rp = US realpath(CS deliver_home, CS hdbuffer)))
1007         {
1008         rph = hdbuffer;
1009         len = Ustrlen(rph);
1010         }
1011
1012       if (rlen > len) rlen = len;
1013       if (Ustrncmp(rph, big_buffer, rlen) != 0)
1014         {
1015         yield = FALSE;
1016         DEBUG(D_transport) debug_printf("Real path \"%s\" does not match \"%s\"\n",
1017           big_buffer, deliver_home);
1018         }
1019       }
1020     }
1021   #endif  /* NO_REALPATH */
1022   }
1023
1024 return yield;
1025 }
1026
1027
1028
1029 /*************************************************
1030 *              Main entry point                  *
1031 *************************************************/
1032
1033 /* See local README for general interface details. This transport always
1034 returns FALSE, indicating that the status which has been placed in the first
1035 address should be copied to any other addresses in a batch.
1036
1037 Appendfile delivery is tricky and has led to various security problems in other
1038 mailers. The logic used here is therefore laid out in some detail. When this
1039 function is called, we are running in a subprocess which has had its gid and
1040 uid set to the appropriate values. Therefore, we cannot write directly to the
1041 exim logs. Any errors must be handled by setting appropriate return codes.
1042 Note that the default setting for addr->transport_return is DEFER, so it need
1043 not be set unless some other value is required.
1044
1045 The code below calls geteuid() rather than getuid() to get the current uid
1046 because in weird configurations not running setuid root there may be a
1047 difference. In the standard configuration, where setuid() has been used in the
1048 delivery process, there will be no difference between the uid and the euid.
1049
1050 (1)  If the af_file flag is set, this is a delivery to a file after .forward or
1051      alias expansion. Otherwise, there must be a configured file name or
1052      directory name.
1053
1054 The following items apply in the case when a file name (as opposed to a
1055 directory name) is given, that is, when appending to a single file:
1056
1057 (2f) Expand the file name.
1058
1059 (3f) If the file name is /dev/null, return success (optimization).
1060
1061 (4f) If the file_format options is set, open the file for reading, and check
1062      that the bytes at the start of the file match one of the given strings.
1063      If the check indicates a transport other than the current one should be
1064      used, pass control to that other transport. Otherwise continue. An empty
1065      or non-existent file matches the current transport. The file is closed
1066      after the check.
1067
1068 (5f) If a lock file is required, create it (see extensive separate comments
1069      below about the algorithm for doing this). It is important to do this
1070      before opening the mailbox if NFS is in use.
1071
1072 (6f) Stat the file, using lstat() rather than stat(), in order to pick up
1073      details of any symbolic link.
1074
1075 (7f) If the file already exists:
1076
1077      Check the owner and group if necessary, and defer if they are wrong.
1078
1079      If it is a symbolic link AND the allow_symlink option is set (NOT the
1080      default), go back to (6f) but this time use stat() instead of lstat().
1081
1082      If it's not a regular file (or FIFO when permitted), defer delivery.
1083
1084      Check permissions. If the required permissions are *less* than the
1085      existing ones, or supplied by the address (often by the user via filter),
1086      chmod() the file. Otherwise, defer.
1087
1088      Save the inode number.
1089
1090      Open with O_RDRW + O_APPEND, thus failing if the file has vanished.
1091
1092      If open fails because the file does not exist, go to (6f); on any other
1093      failure, defer.
1094
1095      Check the inode number hasn't changed - I realize this isn't perfect (an
1096      inode can be reused) but it's cheap and will catch some of the races.
1097
1098      Check it's still a regular file (or FIFO if permitted).
1099
1100      Check that the owner and permissions haven't changed.
1101
1102      If file_format is set, check that the file still matches the format for
1103      the current transport. If not, defer delivery.
1104
1105 (8f) If file does not exist initially:
1106
1107      Open with O_WRONLY + O_EXCL + O_CREAT with configured mode, unless we know
1108      this is via a symbolic link (only possible if allow_symlinks is set), in
1109      which case don't use O_EXCL, as it doesn't work.
1110
1111      If open fails because the file already exists, go to (6f). To avoid
1112      looping for ever in a situation where the file is continuously being
1113      created and deleted, all of this happens inside a loop that operates
1114      lock_retries times and includes the fcntl and flock locking. If the
1115      loop completes without the file getting opened, defer and request
1116      freezing, because something really weird is happening.
1117
1118      If open fails for any other reason, defer for subsequent delivery except
1119      when this is a file delivery resulting from an alias or forward expansion
1120      and the error is EPERM or ENOENT or EACCES, in which case FAIL as this is
1121      most likely a user rather than a configuration error.
1122
1123 (9f) We now have the file checked and open for writing. If so configured, lock
1124      it using fcntl, flock, or MBX locking rules. If this fails, close the file
1125      and goto (6f), up to lock_retries times, after sleeping for a while. If it
1126      still fails, give up and defer delivery.
1127
1128 (10f)Save the access time (for subsequent restoration) and the size of the
1129      file, for comsat and for re-setting if delivery fails in the middle -
1130      e.g. for quota exceeded.
1131
1132 The following items apply in the case when a directory name is given:
1133
1134 (2d) Create a new file in the directory using a temporary name, by opening for
1135      writing and with O_CREAT. If maildir format is being used, the file
1136      is created in a temporary subdirectory with a prescribed name. If
1137      mailstore format is being used, the envelope file is first created with a
1138      temporary name, then the data file.
1139
1140 The following items apply in all cases:
1141
1142 (11) We now have the file open for writing, and locked if it was given as a
1143      file name. Write the message and flush the file, unless there is a setting
1144      of the local quota option, in which case we can check for its excession
1145      without doing any writing.
1146
1147      In the case of MBX format mailboxes, the message is first written to a
1148      temporary file, in order to get its correct length. This is then copied to
1149      the real file, preceded by an MBX header.
1150
1151      If there is a quota error on writing, defer the address. Timeout logic
1152      will determine for how long retries are attempted. We restore the mailbox
1153      to its original length if it's a single file. There doesn't seem to be a
1154      uniform error code for quota excession (it even differs between SunOS4
1155      and some versions of SunOS5) so a system-dependent macro called
1156      ERRNO_QUOTA is used for it, and the value gets put into errno_quota at
1157      compile time.
1158
1159      For any other error (most commonly disk full), do the same.
1160
1161 The following applies after appending to a file:
1162
1163 (12f)Restore the atime; notify_comsat if required; close the file (which
1164      unlocks it if it was locked). Delete the lock file if it exists.
1165
1166 The following applies after writing a unique file in a directory:
1167
1168 (12d)For maildir format, rename the file into the new directory. For mailstore
1169      format, rename the envelope file to its correct name. Otherwise, generate
1170      a unique name from the directory_file option, and rename to that, possibly
1171      trying a few times if the file exists and re-expanding the name gives a
1172      different string.
1173
1174 This transport yields FAIL only when a file name is generated by an alias or
1175 forwarding operation and attempting to open it gives EPERM, ENOENT, or EACCES.
1176 All other failures return DEFER (in addr->transport_return). */
1177
1178
1179 BOOL
1180 appendfile_transport_entry(
1181   transport_instance *tblock,      /* data for this instantiation */
1182   address_item *addr)              /* address we are working on */
1183 {
1184 appendfile_transport_options_block *ob =
1185   (appendfile_transport_options_block *)(tblock->options_block);
1186 struct stat statbuf;
1187 uschar *fdname = NULL;
1188 uschar *filename = NULL;
1189 uschar *hitchname = NULL;
1190 uschar *dataname = NULL;
1191 uschar *lockname = NULL;
1192 uschar *newname = NULL;
1193 uschar *nametag = NULL;
1194 uschar *cr = US"";
1195 uschar *filecount_msg = US"";
1196 uschar *path;
1197 struct utimbuf times;
1198 struct timeval msg_tv;
1199 BOOL disable_quota = FALSE;
1200 BOOL isdirectory = FALSE;
1201 BOOL isfifo = FALSE;
1202 BOOL wait_for_tick = FALSE;
1203 uid_t uid = geteuid();     /* See note above */
1204 gid_t gid = getegid();
1205 int mbformat;
1206 int mode = (addr->mode > 0) ? addr->mode : ob->mode;
1207 off_t saved_size = -1;
1208 off_t mailbox_size = ob->mailbox_size_value;
1209 int mailbox_filecount = ob->mailbox_filecount_value;
1210 int hd = -1;
1211 int fd = -1;
1212 int yield = FAIL;
1213 int i;
1214
1215 #ifdef SUPPORT_MBX
1216 int save_fd = 0;
1217 int mbx_lockfd = -1;
1218 uschar mbx_lockname[40];
1219 FILE *temp_file = NULL;
1220 #endif  /* SUPPORT_MBX */
1221
1222 #ifdef SUPPORT_MAILDIR
1223 int maildirsize_fd = -1;      /* fd for maildirsize file */
1224 int maildir_save_errno;
1225 #endif
1226
1227
1228 DEBUG(D_transport) debug_printf("appendfile transport entered\n");
1229
1230 /* An "address_file" or "address_directory" transport is used to deliver to
1231 files specified via .forward or an alias file. Prior to release 4.20, the
1232 "file" and "directory" options were ignored in this case. This has been changed
1233 to allow the redirection data to specify what is in effect a folder, whose
1234 location is determined by the options on the transport.
1235
1236 Compatibility with the case when neither option is set is retained by forcing a
1237 value for the file or directory name. A directory delivery is assumed if the
1238 last character of the path from the router is '/'.
1239
1240 The file path is in the local part of the address, but not in the $local_part
1241 variable (that holds the parent local part). It is, however, in the
1242 $address_file variable. Below, we update the local part in the address if it
1243 changes by expansion, so that the final path ends up in the log. */
1244
1245 if (testflag(addr, af_file) && !ob->filename && !ob->dirname)
1246   {
1247   fdname = US"$address_file";
1248   if (address_file[Ustrlen(address_file)-1] == '/' ||
1249       ob->maildir_format ||
1250       ob->mailstore_format)
1251     isdirectory = TRUE;
1252   }
1253
1254 /* Handle (a) an "address file" delivery where "file" or "directory" is
1255 explicitly set and (b) a non-address_file delivery, where one of "file" or
1256 "directory" must be set; initialization ensures that they are not both set. */
1257
1258 if (!fdname)
1259   {
1260   if (!(fdname = ob->filename))
1261     {
1262     fdname = ob->dirname;
1263     isdirectory = TRUE;
1264     }
1265   if (!fdname)
1266     {
1267     addr->message = string_sprintf("Mandatory file or directory option "
1268       "missing from %s transport", tblock->name);
1269     goto ret_panic;
1270     }
1271   }
1272
1273 /* Maildir and mailstore require a directory */
1274
1275 if ((ob->maildir_format || ob->mailstore_format) && !isdirectory)
1276   {
1277   addr->message = string_sprintf("mail%s_format requires \"directory\" "
1278     "to be specified for the %s transport",
1279     ob->maildir_format ? "dir" : "store", tblock->name);
1280   goto ret_panic;
1281   }
1282
1283 if (!(path = expand_string(fdname)))
1284   {
1285   addr->message = string_sprintf("Expansion of \"%s\" (file or directory "
1286     "name for %s transport) failed: %s", fdname, tblock->name,
1287     expand_string_message);
1288   goto ret_panic;
1289   }
1290 if (is_tainted(path))
1291   {
1292   addr->message = string_sprintf("Tainted '%s' (file or directory "
1293     "name for %s transport) not permitted", path, tblock->name);
1294   goto ret_panic;
1295   }
1296
1297 if (path[0] != '/')
1298   {
1299   addr->message = string_sprintf("appendfile: file or directory name "
1300     "\"%s\" is not absolute", path);
1301   addr->basic_errno = ERRNO_NOTABSOLUTE;
1302   return FALSE;
1303   }
1304
1305 /* For a file delivery, make sure the local part in the address(es) is updated
1306 to the true local part. */
1307
1308 if (testflag(addr, af_file))
1309   for (address_item * addr2 = addr; addr2; addr2 = addr2->next)
1310     addr2->local_part = string_copy(path);
1311
1312 /* The available mailbox formats depend on whether it is a directory or a file
1313 delivery. */
1314
1315 if (isdirectory)
1316   {
1317   mbformat =
1318   #ifdef SUPPORT_MAILDIR
1319     ob->maildir_format ? mbf_maildir :
1320   #endif
1321   #ifdef SUPPORT_MAILSTORE
1322     ob->mailstore_format ? mbf_mailstore :
1323   #endif
1324     mbf_smail;
1325   }
1326 else
1327   {
1328   mbformat =
1329   #ifdef SUPPORT_MBX
1330     ob->mbx_format ? mbf_mbx :
1331   #endif
1332     mbf_unix;
1333   }
1334
1335 DEBUG(D_transport)
1336   {
1337   debug_printf("appendfile: mode=%o notify_comsat=%d quota=" OFF_T_FMT
1338     "%s%s"
1339     " warning=" OFF_T_FMT "%s\n"
1340     "  %s=%s format=%s\n  message_prefix=%s\n  message_suffix=%s\n  "
1341     "maildir_use_size_file=%s\n",
1342     mode, ob->notify_comsat, ob->quota_value,
1343     ob->quota_no_check ? " (no_check)" : "",
1344     ob->quota_filecount_no_check ? " (no_check_filecount)" : "",
1345     ob->quota_warn_threshold_value,
1346     ob->quota_warn_threshold_is_percent ? "%" : "",
1347     isdirectory ? "directory" : "file",
1348     path, mailbox_formats[mbformat],
1349     !ob->message_prefix ? US"null" : string_printing(ob->message_prefix),
1350     !ob->message_suffix ? US"null" : string_printing(ob->message_suffix),
1351     ob->maildir_use_size_file ? "yes" : "no");
1352
1353   if (!isdirectory) debug_printf("  locking by %s%s%s%s%s\n",
1354     ob->use_lockfile ? "lockfile " : "",
1355     ob->use_mbx_lock ? "mbx locking (" : "",
1356     ob->use_fcntl ? "fcntl " : "",
1357     ob->use_flock ? "flock" : "",
1358     ob->use_mbx_lock ? ")" : "");
1359   }
1360
1361 /* If the -N option is set, can't do any more. */
1362
1363 if (f.dont_deliver)
1364   {
1365   DEBUG(D_transport)
1366     debug_printf("*** delivery by %s transport bypassed by -N option\n",
1367       tblock->name);
1368   addr->transport_return = OK;
1369   return FALSE;
1370   }
1371
1372 /* Handle the case of a file name. If the file name is /dev/null, we can save
1373 ourselves some effort and just give a success return right away. */
1374
1375 if (!isdirectory)
1376   {
1377   BOOL use_lstat = TRUE;
1378   BOOL file_opened = FALSE;
1379   BOOL allow_creation_here = TRUE;
1380
1381   if (Ustrcmp(path, "/dev/null") == 0)
1382     {
1383     addr->transport_return = OK;
1384     return FALSE;
1385     }
1386
1387   /* Set the name of the file to be opened, and the file to which the data
1388   is written, and find out if we are permitted to create a non-existent file. */
1389
1390   dataname = filename = path;
1391   allow_creation_here = check_creation(filename, ob->create_file);
1392
1393   /* If ob->create_directory is set, attempt to create the directories in
1394   which this mailbox lives, but only if we are permitted to create the file
1395   itself. We know we are dealing with an absolute path, because this was
1396   checked above. */
1397
1398   if (ob->create_directory && allow_creation_here)
1399     {
1400     uschar *p = Ustrrchr(path, '/');
1401     *p = '\0';
1402     if (!directory_make(NULL, path, ob->dirmode, FALSE))
1403       {
1404       addr->basic_errno = errno;
1405       addr->message =
1406         string_sprintf("failed to create directories for %s: %s", path,
1407           strerror(errno));
1408       DEBUG(D_transport) debug_printf("%s transport: %s\n", tblock->name, path);
1409       return FALSE;
1410       }
1411     *p = '/';
1412     }
1413
1414   /* If file_format is set we must check that any existing file matches one of
1415   the configured formats by checking the bytes it starts with. A match then
1416   indicates a specific transport - if it is not this one, pass control to it.
1417   Otherwise carry on here. An empty or non-existent file matches the current
1418   transport. We don't need to distinguish between non-existence and other open
1419   failures because if an existing file fails to open here, it will also fail
1420   again later when O_RDWR is used. */
1421
1422   if (ob->file_format)
1423     {
1424     int cfd = Uopen(path, O_RDONLY, 0);
1425     if (cfd >= 0)
1426       {
1427       transport_instance *tt = check_file_format(cfd, tblock, addr);
1428       (void)close(cfd);
1429
1430       /* If another transport is indicated, call it and return; if no transport
1431       was found, just return - the error data will have been set up.*/
1432
1433       if (tt != tblock)
1434         {
1435         if (tt)
1436           {
1437           set_process_info("delivering %s to %s using %s", message_id,
1438             addr->local_part, tt->name);
1439           debug_print_string(tt->debug_string);
1440           addr->transport = tt;
1441           (tt->info->code)(tt, addr);
1442           }
1443         return FALSE;
1444         }
1445       }
1446     }
1447
1448   /* The locking of mailbox files is worse than the naming of cats, which is
1449   known to be "a difficult matter" (T.S. Eliot) and just as cats must have
1450   three different names, so several different styles of locking are used.
1451
1452   Research in other programs that lock mailboxes shows that there is no
1453   universally standard method. Having mailboxes NFS-mounted on the system that
1454   is delivering mail is not the best thing, but people do run like this,
1455   and so the code must do its best to cope.
1456
1457   Three different locking mechanisms are supported. The initialization function
1458   checks that at least one is configured.
1459
1460   LOCK FILES
1461
1462   Unless no_use_lockfile is set, we attempt to build a lock file in a way that
1463   will work over NFS. Only after that is done do we actually open the mailbox
1464   and apply locks to it (if configured).
1465
1466   Originally, Exim got the file opened before doing anything about locking.
1467   However, a very occasional problem was observed on Solaris 2 when delivering
1468   over NFS. It is seems that when a file is opened with O_APPEND, the file size
1469   gets remembered at open time. If another process on another host (that's
1470   important) has the file open and locked and writes to it and then releases
1471   the lock while the first process is waiting to get the lock, the first
1472   process may fail to write at the new end point of the file - despite the very
1473   definite statement about O_APPEND in the man page for write(). Experiments
1474   have reproduced this problem, but I do not know any way of forcing a host to
1475   update its attribute cache for an open NFS file. It would be nice if it did
1476   so when a lock was taken out, but this does not seem to happen. Anyway, to
1477   reduce the risk of this problem happening, we now create the lock file
1478   (if configured) *before* opening the mailbox. That will prevent two different
1479   Exims opening the file simultaneously. It may not prevent clashes with MUAs,
1480   however, but Pine at least seems to operate in the same way.
1481
1482   Lockfiles should normally be used when NFS is involved, because of the above
1483   problem.
1484
1485   The logic for creating the lock file is:
1486
1487   . The name of the lock file is <mailbox-name>.lock
1488
1489   . First, create a "hitching post" name by adding the primary host name,
1490     current time and pid to the lock file name. This should be unique.
1491
1492   . Create the hitching post file using WRONLY + CREAT + EXCL.
1493
1494   . If that fails EACCES, we assume it means that the user is unable to create
1495     files in the mail spool directory. Some installations might operate in this
1496     manner, so there is a configuration option to allow this state not to be an
1497     error - we proceed to lock using fcntl only, after the file is open.
1498
1499   . Otherwise, an error causes a deferment of the address.
1500
1501   . Hard link the hitching post to the lock file name.
1502
1503   . If the link succeeds, we have successfully created the lock file. Simply
1504     close and unlink the hitching post file.
1505
1506   . If the link does not succeed, proceed as follows:
1507
1508     o Fstat the hitching post file, and then close and unlink it.
1509
1510     o Now examine the stat data. If the number of links to the file is exactly
1511       2, the linking succeeded but for some reason, e.g. an NFS server crash,
1512       the return never made it back, so the link() function gave a failure
1513       return.
1514
1515   . This method allows for the lock file to be created by some other process
1516     right up to the moment of the attempt to hard link it, and is also robust
1517     against NFS server crash-reboots, which would probably result in timeouts
1518     in the middle of link().
1519
1520   . System crashes may cause lock files to get left lying around, and some means
1521     of flushing them is required. The approach of writing a pid (used by smail
1522     and by elm) into the file isn't useful when NFS may be in use. Pine uses a
1523     timeout, which seems a better approach. Since any program that writes to a
1524     mailbox using a lock file should complete its task very quickly, Pine
1525     removes lock files that are older than 5 minutes. We allow the value to be
1526     configurable on the transport.
1527
1528   FCNTL LOCKING
1529
1530   If use_fcntl_lock is set, then Exim gets an exclusive fcntl() lock on the
1531   mailbox once it is open. This is done by default with a non-blocking lock.
1532   Failures to lock cause retries after a sleep, but only for a certain number
1533   of tries. A blocking lock is deliberately not used so that we don't hold the
1534   mailbox open. This minimizes the possibility of the NFS problem described
1535   under LOCK FILES above, if for some reason NFS deliveries are happening
1536   without lock files. However, the use of a non-blocking lock and sleep, though
1537   the safest approach, does not give the best performance on very busy systems.
1538   A blocking lock plus timeout does better. Therefore Exim has an option to
1539   allow it to work this way. If lock_fcntl_timeout is set greater than zero, it
1540   enables the use of blocking fcntl() calls.
1541
1542   FLOCK LOCKING
1543
1544   If use_flock_lock is set, then Exim gets an exclusive flock() lock in the
1545   same manner as for fcntl locking above. No-blocking/timeout is also set as
1546   above in lock_flock_timeout. Not all operating systems provide or support
1547   flock(). For those that don't (as determined by the definition of LOCK_SH in
1548   /usr/include/sys/file.h), use_flock_lock may not be set. For some OS, flock()
1549   is implemented (not precisely) on top of fcntl(), which means there's no
1550   point in actually using it.
1551
1552   MBX LOCKING
1553
1554   If use_mbx_lock is set (this is supported only if SUPPORT_MBX is defined)
1555   then the rules used for locking in c-client are used. Exim takes out a shared
1556   lock on the mailbox file, and an exclusive lock on the file whose name is
1557   /tmp/.<device-number>.<inode-number>. The shared lock on the mailbox stops
1558   any other MBX client from getting an exclusive lock on it and expunging it.
1559   It also stops any other MBX client from unlinking the /tmp lock when it has
1560   finished with it.
1561
1562   The exclusive lock on the /tmp file prevents any other MBX client from
1563   updating the mailbox in any way. When writing is finished, if an exclusive
1564   lock on the mailbox can be obtained, indicating there are no current sharers,
1565   the /tmp file is unlinked.
1566
1567   MBX locking can use either fcntl() or flock() locking. If neither
1568   use_fcntl_lock or use_flock_lock is set, it defaults to using fcntl() only.
1569   The calls for getting these locks are by default non-blocking, as for non-mbx
1570   locking, but can be made blocking by setting lock_fcntl_timeout and/or
1571   lock_flock_timeout as appropriate.  As MBX delivery doesn't work over NFS, it
1572   probably makes sense to set timeouts for any MBX deliveries. */
1573
1574
1575   /* Build a lock file if configured to do so - the existence of a lock
1576   file is subsequently checked by looking for a non-negative value of the
1577   file descriptor hd - even though the file is no longer open. */
1578
1579   if (ob->use_lockfile)
1580     {
1581     /* cf. exim_lock.c */
1582     lockname = string_sprintf("%s.lock", filename);
1583     hitchname = string_sprintf( "%s.%s.%08x.%08x", lockname, primary_hostname,
1584       (unsigned int)(time(NULL)), (unsigned int)getpid());
1585
1586     DEBUG(D_transport) debug_printf("lock name: %s\nhitch name: %s\n", lockname,
1587       hitchname);
1588
1589     /* Lock file creation retry loop */
1590
1591     for (i = 0; i < ob->lock_retries; sleep(ob->lock_interval), i++)
1592       {
1593       int rc;
1594
1595       hd = Uopen(hitchname, O_WRONLY | O_CREAT | O_EXCL, ob->lockfile_mode);
1596       if (hd < 0)
1597         {
1598         addr->basic_errno = errno;
1599         addr->message =
1600           string_sprintf("creating lock file hitching post %s "
1601             "(euid=%ld egid=%ld)", hitchname, (long int)geteuid(),
1602             (long int)getegid());
1603         return FALSE;
1604         }
1605
1606       /* Attempt to hitch the hitching post to the lock file. If link()
1607       succeeds (the common case, we hope) all is well. Otherwise, fstat the
1608       file, and get rid of the hitching post. If the number of links was 2,
1609       the link was created, despite the failure of link(). If the hitch was
1610       not successful, try again, having unlinked the lock file if it is too
1611       old.
1612
1613       There's a version of Linux (2.0.27) which doesn't update its local cache
1614       of the inode after link() by default - which many think is a bug - but
1615       if the link succeeds, this code will be OK. It just won't work in the
1616       case when link() fails after having actually created the link. The Linux
1617       NFS person is fixing this; a temporary patch is available if anyone is
1618       sufficiently worried. */
1619
1620       if ((rc = Ulink(hitchname, lockname)) != 0) fstat(hd, &statbuf);
1621       (void)close(hd);
1622       Uunlink(hitchname);
1623       if (rc != 0 && statbuf.st_nlink != 2)
1624         {
1625         if (ob->lockfile_timeout > 0 && Ustat(lockname, &statbuf) == 0 &&
1626             time(NULL) - statbuf.st_ctime > ob->lockfile_timeout)
1627           {
1628           DEBUG(D_transport) debug_printf("unlinking timed-out lock file\n");
1629           Uunlink(lockname);
1630           }
1631         DEBUG(D_transport) debug_printf("link of hitching post failed - retrying\n");
1632         continue;
1633         }
1634
1635       DEBUG(D_transport) debug_printf("lock file created\n");
1636       break;
1637       }
1638
1639     /* Check for too many tries at creating the lock file */
1640
1641     if (i >= ob->lock_retries)
1642       {
1643       addr->basic_errno = ERRNO_LOCKFAILED;
1644       addr->message = string_sprintf("failed to lock mailbox %s (lock file)",
1645         filename);
1646       return FALSE;
1647       }
1648     }
1649
1650
1651   /* We now have to get the file open. First, stat() it and act on existence or
1652   non-existence. This is in a loop to handle the case of a file's being created
1653   or deleted as we watch, and also to handle retries when the locking fails.
1654   Rather than holding the file open while waiting for the fcntl() and/or
1655   flock() lock, we close and do the whole thing again. This should be safer,
1656   especially for NFS files, which might get altered from other hosts, making
1657   their cached sizes incorrect.
1658
1659   With the default settings, no symlinks are permitted, but there is an option
1660   to permit symlinks for those sysadmins that know what they are doing.
1661   Shudder. However, insist that the initial symlink is owned by the right user.
1662   Thus lstat() is used initially; if a symlink is discovered, the loop is
1663   repeated such that stat() is used, to look at the end file. */
1664
1665   for (i = 0; i < ob->lock_retries; i++)
1666     {
1667     int sleep_before_retry = TRUE;
1668     file_opened = FALSE;
1669
1670     if ((use_lstat ? Ulstat(filename, &statbuf) : Ustat(filename, &statbuf)) != 0)
1671       {
1672       /* Let's hope that failure to stat (other than non-existence) is a
1673       rare event. */
1674
1675       if (errno != ENOENT)
1676         {
1677         addr->basic_errno = errno;
1678         addr->message = string_sprintf("attempting to stat mailbox %s",
1679           filename);
1680         goto RETURN;
1681         }
1682
1683       /* File does not exist. If it is required to pre-exist this state is an
1684       error. */
1685
1686       if (ob->file_must_exist)
1687         {
1688         addr->basic_errno = errno;
1689         addr->message = string_sprintf("mailbox %s does not exist, "
1690           "but file_must_exist is set", filename);
1691         goto RETURN;
1692         }
1693
1694       /* If not permitted to create this file because it isn't in or below
1695       the home directory, generate an error. */
1696
1697       if (!allow_creation_here)
1698         {
1699         addr->basic_errno = ERRNO_BADCREATE;
1700         addr->message = string_sprintf("mailbox %s does not exist, "
1701           "but creation outside the home directory is not permitted",
1702           filename);
1703         goto RETURN;
1704         }
1705
1706       /* Attempt to create and open the file. If open fails because of
1707       pre-existence, go round the loop again. For any other error, defer the
1708       address, except for an alias or forward generated file name with EPERM,
1709       ENOENT, or EACCES, as those are most likely to be user errors rather
1710       than Exim config errors. When a symbolic link is permitted and points
1711       to a non-existent file, we get here with use_lstat = FALSE. In this case
1712       we mustn't use O_EXCL, since it doesn't work. The file is opened RDRW for
1713       consistency and because MBX locking requires it in order to be able to
1714       get a shared lock. */
1715
1716       fd = Uopen(filename, O_RDWR | O_APPEND | O_CREAT |
1717         (use_lstat ? O_EXCL : 0), mode);
1718       if (fd < 0)
1719         {
1720         if (errno == EEXIST) continue;
1721         addr->basic_errno = errno;
1722         addr->message = string_sprintf("while creating mailbox %s",
1723           filename);
1724         if (testflag(addr, af_file) &&
1725             (errno == EPERM || errno == ENOENT || errno == EACCES))
1726           addr->transport_return = FAIL;
1727         goto RETURN;
1728         }
1729
1730       /* We have successfully created and opened the file. Ensure that the group
1731       and the mode are correct. */
1732
1733       if (exim_chown(filename, uid, gid) || Uchmod(filename, mode))
1734         {
1735         addr->basic_errno = errno;
1736         addr->message = string_sprintf("while setting perms on mailbox %s",
1737           filename);
1738         addr->transport_return = FAIL;
1739         goto RETURN;
1740         }
1741       }
1742
1743
1744     /* The file already exists. Test its type, ownership, and permissions, and
1745     save the inode for checking later. If symlinks are permitted (not the
1746     default or recommended state) it may be a symlink that already exists.
1747     Check its ownership and then look for the file at the end of the link(s).
1748     This at least prevents one user creating a symlink for another user in
1749     a sticky directory. */
1750
1751     else
1752       {
1753       int oldmode = (int)statbuf.st_mode;
1754       ino_t inode = statbuf.st_ino;
1755       BOOL islink = (oldmode & S_IFMT) == S_IFLNK;
1756
1757       isfifo = FALSE;        /* In case things are changing */
1758
1759       /* Check owner if required - the default. */
1760
1761       if (ob->check_owner && statbuf.st_uid != uid)
1762         {
1763         addr->basic_errno = ERRNO_BADUGID;
1764         addr->message = string_sprintf("mailbox %s%s has wrong uid "
1765           "(%ld != %ld)", filename,
1766           islink ? " (symlink)" : "",
1767           (long int)(statbuf.st_uid), (long int)uid);
1768         goto RETURN;
1769         }
1770
1771       /* Group is checked only if check_group is set. */
1772
1773       if (ob->check_group && statbuf.st_gid != gid)
1774         {
1775         addr->basic_errno = ERRNO_BADUGID;
1776         addr->message = string_sprintf("mailbox %s%s has wrong gid (%d != %d)",
1777           filename, islink ? " (symlink)" : "", statbuf.st_gid, gid);
1778         goto RETURN;
1779         }
1780
1781       /* Just in case this is a sticky-bit mail directory, we don't want
1782       users to be able to create hard links to other users' files. */
1783
1784       if (statbuf.st_nlink != 1)
1785         {
1786         addr->basic_errno = ERRNO_NOTREGULAR;
1787         addr->message = string_sprintf("mailbox %s%s has too many links (%d)",
1788           filename, islink ? " (symlink)" : "", statbuf.st_nlink);
1789         goto RETURN;
1790
1791         }
1792
1793       /* If symlinks are permitted (not recommended), the lstat() above will
1794       have found the symlink. Its ownership has just been checked; go round
1795       the loop again, using stat() instead of lstat(). That will never yield a
1796       mode of S_IFLNK. */
1797
1798       if (islink && ob->allow_symlink)
1799         {
1800         use_lstat = FALSE;
1801         i--;                   /* Don't count this time round */
1802         continue;
1803         }
1804
1805       /* An actual file exists. Check that it is a regular file, or FIFO
1806       if permitted. */
1807
1808       if (ob->allow_fifo && (oldmode & S_IFMT) == S_IFIFO) isfifo = TRUE;
1809
1810       else if ((oldmode & S_IFMT) != S_IFREG)
1811         {
1812         addr->basic_errno = ERRNO_NOTREGULAR;
1813         addr->message = string_sprintf("mailbox %s is not a regular file%s",
1814           filename, ob->allow_fifo ? " or named pipe" : "");
1815         goto RETURN;
1816         }
1817
1818       /* If the mode is not what it would be for a newly created file, change
1819       the permissions if the mode is supplied for the address. Otherwise,
1820       reduce but do not extend the permissions. If the newly created
1821       permissions are greater than the existing permissions, don't change
1822       things when the mode is not from the address. */
1823
1824       if ((oldmode &= 07777) != mode)
1825         {
1826         int diffs = oldmode ^ mode;
1827         if (addr->mode > 0 || (diffs & oldmode) == diffs)
1828           {
1829           DEBUG(D_transport) debug_printf("chmod %o %s\n", mode, filename);
1830           if (Uchmod(filename, mode) < 0)
1831             {
1832             addr->basic_errno = errno;
1833             addr->message = string_sprintf("attempting to chmod mailbox %s",
1834               filename);
1835             goto RETURN;
1836             }
1837           oldmode = mode;
1838           }
1839
1840         /* Mode not from address, and newly-created permissions are greater
1841         than existing permissions. Default is to complain, but it can be
1842         configured to go ahead and try to deliver anyway if that's what
1843         the administration wants. */
1844
1845         else if (ob->mode_fail_narrower)
1846           {
1847           addr->basic_errno = ERRNO_BADMODE;
1848           addr->message = string_sprintf("mailbox %s has the wrong mode %o "
1849             "(%o expected)", filename, oldmode, mode);
1850           goto RETURN;
1851           }
1852         }
1853
1854       /* We are happy with the existing file. Open it, and then do further
1855       tests to ensure that it is the same file that we were just looking at.
1856       If the file does not now exist, restart this loop, going back to using
1857       lstat again. For an NFS error, just defer; other opening errors are
1858       more serious. The file is opened RDWR so that its format can be checked,
1859       and also MBX locking requires the use of a shared (read) lock. However,
1860       a FIFO is opened WRONLY + NDELAY so that it fails if there is no process
1861       reading the pipe. */
1862
1863       fd = Uopen(filename, isfifo ? (O_WRONLY|O_NDELAY) : (O_RDWR|O_APPEND),
1864         mode);
1865       if (fd < 0)
1866         {
1867         if (errno == ENOENT)
1868           {
1869           use_lstat = TRUE;
1870           continue;
1871           }
1872         addr->basic_errno = errno;
1873         if (isfifo)
1874           addr->message = string_sprintf("while opening named pipe %s "
1875             "(could mean no process is reading it)", filename);
1876         else if (errno != EWOULDBLOCK)
1877           addr->message = string_sprintf("while opening mailbox %s", filename);
1878         goto RETURN;
1879         }
1880
1881       /* This fstat really shouldn't fail, as we have an open file! There's a
1882       dilemma here. We use fstat in order to be sure we are peering at the file
1883       we have got open. However, that won't tell us if the file was reached
1884       via a symbolic link. We checked this above, but there is a race exposure
1885       if the link was created between the previous lstat and the open. However,
1886       it would have to be created with the same inode in order to pass the
1887       check below. If ob->allow_symlink is set, causing the use of stat rather
1888       than lstat above, symbolic links may be there anyway, and the checking is
1889       weaker. */
1890
1891       if (fstat(fd, &statbuf) < 0)
1892         {
1893         addr->basic_errno = errno;
1894         addr->message = string_sprintf("attempting to stat open mailbox %s",
1895           filename);
1896         goto RETURN;
1897         }
1898
1899       /* Check the inode; this is isn't a perfect check, but gives some
1900       confidence. */
1901
1902       if (inode != statbuf.st_ino)
1903         {
1904         addr->basic_errno = ERRNO_INODECHANGED;
1905         addr->message = string_sprintf("opened mailbox %s inode number changed "
1906           "from " INO_T_FMT " to " INO_T_FMT, filename, inode, statbuf.st_ino);
1907         addr->special_action = SPECIAL_FREEZE;
1908         goto RETURN;
1909         }
1910
1911       /* Check it's still a regular file or FIFO, and the uid, gid, and
1912       permissions have not changed. */
1913
1914       if ((!isfifo && (statbuf.st_mode & S_IFMT) != S_IFREG) ||
1915           (isfifo && (statbuf.st_mode & S_IFMT) != S_IFIFO))
1916         {
1917         addr->basic_errno = ERRNO_NOTREGULAR;
1918         addr->message =
1919           string_sprintf("opened mailbox %s is no longer a %s", filename,
1920             isfifo ? "named pipe" : "regular file");
1921         addr->special_action = SPECIAL_FREEZE;
1922         goto RETURN;
1923         }
1924
1925       if ((ob->check_owner && statbuf.st_uid != uid) ||
1926           (ob->check_group && statbuf.st_gid != gid))
1927         {
1928         addr->basic_errno = ERRNO_BADUGID;
1929         addr->message =
1930           string_sprintf("opened mailbox %s has wrong uid or gid", filename);
1931         addr->special_action = SPECIAL_FREEZE;
1932         goto RETURN;
1933         }
1934
1935       if ((statbuf.st_mode & 07777) != oldmode)
1936         {
1937         addr->basic_errno = ERRNO_BADMODE;
1938         addr->message = string_sprintf("opened mailbox %s has wrong mode %o "
1939           "(%o expected)", filename, statbuf.st_mode & 07777, mode);
1940         addr->special_action = SPECIAL_FREEZE;
1941         goto RETURN;
1942         }
1943
1944       /* If file_format is set, check that the format of the file has not
1945       changed. Error data is set by the testing function. */
1946
1947       if (ob->file_format  &&  check_file_format(fd, tblock, addr) != tblock)
1948         {
1949         addr->message = US"open mailbox has changed format";
1950         goto RETURN;
1951         }
1952
1953       /* The file is OK. Carry on to do the locking. */
1954       }
1955
1956     /* We now have an open file, and must lock it using fcntl(), flock() or MBX
1957     locking rules if configured to do so. If a lock file is also required, it
1958     was created above and hd was left >= 0. At least one form of locking is
1959     required by the initialization function. If locking fails here, close the
1960     file and go round the loop all over again, after waiting for a bit, unless
1961     blocking locking was used. */
1962
1963     file_opened = TRUE;
1964     if ((ob->lock_fcntl_timeout > 0) || (ob->lock_flock_timeout > 0))
1965       sleep_before_retry = FALSE;
1966
1967     /* Simple fcntl() and/or flock() locking */
1968
1969     if (!ob->use_mbx_lock && (ob->use_fcntl || ob->use_flock))
1970       {
1971       if (apply_lock(fd, F_WRLCK, ob->use_fcntl, ob->lock_fcntl_timeout,
1972          ob->use_flock, ob->lock_flock_timeout) >= 0) break;
1973       }
1974
1975     /* MBX locking rules */
1976
1977     #ifdef SUPPORT_MBX
1978     else if (ob->use_mbx_lock)
1979       {
1980       int mbx_tmp_oflags;
1981       struct stat lstatbuf, statbuf2;
1982       if (apply_lock(fd, F_RDLCK, ob->use_fcntl, ob->lock_fcntl_timeout,
1983            ob->use_flock, ob->lock_flock_timeout) >= 0 &&
1984            fstat(fd, &statbuf) >= 0)
1985         {
1986         sprintf(CS mbx_lockname, "/tmp/.%lx.%lx", (long)statbuf.st_dev,
1987           (long)statbuf.st_ino);
1988
1989         /*
1990          * 2010-05-29: SECURITY
1991          * Dan Rosenberg reported the presence of a race-condition in the
1992          * original code here.  Beware that many systems still allow symlinks
1993          * to be followed in /tmp so an attacker can create a symlink pointing
1994          * elsewhere between a stat and an open, which we should avoid
1995          * following.
1996          *
1997          * It's unfortunate that we can't just use all the heavily debugged
1998          * locking from above.
1999          *
2000          * Also: remember to mirror changes into exim_lock.c */
2001
2002         /* first leave the old pre-check in place, it provides better
2003          * diagnostics for common cases */
2004         if (Ulstat(mbx_lockname, &statbuf) >= 0)
2005           {
2006           if ((statbuf.st_mode & S_IFMT) == S_IFLNK)
2007             {
2008             addr->basic_errno = ERRNO_LOCKFAILED;
2009             addr->message = string_sprintf("symbolic link on MBX lock file %s",
2010               mbx_lockname);
2011             goto RETURN;
2012             }
2013           if (statbuf.st_nlink > 1)
2014             {
2015             addr->basic_errno = ERRNO_LOCKFAILED;
2016             addr->message = string_sprintf("hard link to MBX lock file %s",
2017               mbx_lockname);
2018             goto RETURN;
2019             }
2020           }
2021
2022         /* If we could just declare "we must be the ones who create this
2023          * file" then a hitching post in a subdir would work, since a
2024          * subdir directly in /tmp/ which we create wouldn't follow links
2025          * but this isn't our locking logic, so we can't safely change the
2026          * file existence rules. */
2027
2028         /* On systems which support O_NOFOLLOW, it's the easiest and most
2029          * obviously correct security fix */
2030         mbx_tmp_oflags = O_RDWR | O_CREAT;
2031 #ifdef O_NOFOLLOW
2032         mbx_tmp_oflags |= O_NOFOLLOW;
2033 #endif
2034         mbx_lockfd = Uopen(mbx_lockname, mbx_tmp_oflags, ob->lockfile_mode);
2035         if (mbx_lockfd < 0)
2036           {
2037           addr->basic_errno = ERRNO_LOCKFAILED;
2038           addr->message = string_sprintf("failed to open MBX lock file %s :%s",
2039             mbx_lockname, strerror(errno));
2040           goto RETURN;
2041           }
2042
2043         if (Ulstat(mbx_lockname, &lstatbuf) < 0)
2044           {
2045           addr->basic_errno = ERRNO_LOCKFAILED;
2046           addr->message = string_sprintf("attempting to lstat open MBX "
2047              "lock file %s: %s", mbx_lockname, strerror(errno));
2048           goto RETURN;
2049           }
2050         if (fstat(mbx_lockfd, &statbuf2) < 0)
2051           {
2052           addr->basic_errno = ERRNO_LOCKFAILED;
2053           addr->message = string_sprintf("attempting to stat fd of open MBX "
2054               "lock file %s: %s", mbx_lockname, strerror(errno));
2055           goto RETURN;
2056           }
2057
2058         /*
2059          * At this point:
2060          *  statbuf: if exists, is file which existed prior to opening the
2061          *           lockfile, might have been replaced since then
2062          *  statbuf2: result of stat'ing the open fd, is what was actually
2063          *            opened
2064          *  lstatbuf: result of lstat'ing the filename immediately after
2065          *            the open but there's a race condition again between
2066          *            those two steps: before open, symlink to foo, after
2067          *            open but before lstat have one of:
2068          *             * was no symlink, so is the opened file
2069          *               (we created it, no messing possible after that point)
2070          *             * hardlink to foo
2071          *             * symlink elsewhere
2072          *             * hardlink elsewhere
2073          *             * new file/other
2074          * Don't want to compare to device of /tmp because some modern systems
2075          * have regressed to having /tmp be the safe actual filesystem as
2076          * valuable data, so is mostly worthless, unless we assume that *only*
2077          * Linux systems do this and that all Linux has O_NOFOLLOW.  Something
2078          * for further consideration.
2079          * No point in doing a readlink on the lockfile as that will always be
2080          * at a different point in time from when we open it, so tells us
2081          * nothing; attempts to clean up and delete after ourselves would risk
2082          * deleting a *third* filename.
2083          */
2084         if ((statbuf2.st_nlink > 1) ||
2085             (lstatbuf.st_nlink > 1) ||
2086             (!S_ISREG(lstatbuf.st_mode)) ||
2087             (lstatbuf.st_dev != statbuf2.st_dev) ||
2088             (lstatbuf.st_ino != statbuf2.st_ino))
2089           {
2090           addr->basic_errno = ERRNO_LOCKFAILED;
2091           addr->message = string_sprintf("RACE CONDITION detected: "
2092               "mismatch post-initial-checks between \"%s\" and opened "
2093               "fd lead us to abort!", mbx_lockname);
2094           goto RETURN;
2095           }
2096
2097         (void)Uchmod(mbx_lockname, ob->lockfile_mode);
2098
2099         if (apply_lock(mbx_lockfd, F_WRLCK, ob->use_fcntl,
2100             ob->lock_fcntl_timeout, ob->use_flock, ob->lock_flock_timeout) >= 0)
2101           {
2102           struct stat ostatbuf;
2103
2104           /* This tests for a specific race condition. Ensure that we still
2105           have the same file. */
2106
2107           if (Ulstat(mbx_lockname, &statbuf) == 0 &&
2108               fstat(mbx_lockfd, &ostatbuf) == 0 &&
2109               statbuf.st_dev == ostatbuf.st_dev &&
2110               statbuf.st_ino == ostatbuf.st_ino)
2111             break;
2112           DEBUG(D_transport) debug_printf("MBX lockfile %s changed "
2113             "between creation and locking\n", mbx_lockname);
2114           }
2115
2116         DEBUG(D_transport) debug_printf("failed to lock %s: %s\n", mbx_lockname,
2117           strerror(errno));
2118         (void)close(mbx_lockfd);
2119         mbx_lockfd = -1;
2120         }
2121       else
2122         {
2123         DEBUG(D_transport) debug_printf("failed to fstat or get read lock on %s: %s\n",
2124           filename, strerror(errno));
2125         }
2126       }
2127     #endif  /* SUPPORT_MBX */
2128
2129     else break;   /* No on-file locking required; break the open/lock loop */
2130
2131     DEBUG(D_transport)
2132       debug_printf("fcntl(), flock(), or MBX locking failed - retrying\n");
2133
2134     (void)close(fd);
2135     fd = -1;
2136     use_lstat = TRUE;             /* Reset to use lstat first */
2137
2138
2139     /* If a blocking call timed out, break the retry loop if the total time
2140     so far is not less than than retries * interval. Use the larger of the
2141     flock() and fcntl() timeouts. */
2142
2143     if (sigalrm_seen &&
2144         (i+1) * ((ob->lock_fcntl_timeout > ob->lock_flock_timeout)?
2145           ob->lock_fcntl_timeout : ob->lock_flock_timeout) >=
2146           ob->lock_retries * ob->lock_interval)
2147       i = ob->lock_retries;
2148
2149     /* Wait a bit before retrying, except when it was a blocked fcntl() or
2150     flock() that caused the problem. */
2151
2152     if (i < ob->lock_retries && sleep_before_retry) sleep(ob->lock_interval);
2153     }
2154
2155   /* Test for exceeding the maximum number of tries. Either the file remains
2156   locked, or, if we haven't got it open, something is terribly wrong... */
2157
2158   if (i >= ob->lock_retries)
2159     {
2160     if (!file_opened)
2161       {
2162       addr->basic_errno = ERRNO_EXISTRACE;
2163       addr->message = string_sprintf("mailbox %s: existence unclear", filename);
2164       addr->special_action = SPECIAL_FREEZE;
2165       }
2166     else
2167       {
2168       addr->basic_errno = ERRNO_LOCKFAILED;
2169       addr->message = string_sprintf("failed to lock mailbox %s (fcntl/flock)",
2170         filename);
2171       }
2172     goto RETURN;
2173     }
2174
2175   DEBUG(D_transport) debug_printf("mailbox %s is locked\n", filename);
2176
2177   /* Save access time (for subsequent restoration), modification time (for
2178   restoration if updating fails), size of file (for comsat and for re-setting if
2179   delivery fails in the middle - e.g. for quota exceeded). */
2180
2181   if (fstat(fd, &statbuf) < 0)
2182     {
2183     addr->basic_errno = errno;
2184     addr->message = string_sprintf("while fstatting opened mailbox %s",
2185       filename);
2186     goto RETURN;
2187     }
2188
2189   times.actime = statbuf.st_atime;
2190   times.modtime = statbuf.st_mtime;
2191   saved_size = statbuf.st_size;
2192   if (mailbox_size < 0) mailbox_size = saved_size;
2193   mailbox_filecount = 0;  /* Not actually relevant for single-file mailbox */
2194   }
2195
2196 /* Prepare for writing to a new file (as opposed to appending to an old one).
2197 There are several different formats, but there is preliminary stuff concerned
2198 with quotas that applies to all of them. Finding the current size by directory
2199 scanning is expensive; for maildirs some fudges have been invented:
2200
2201   (1) A regex can be used to extract a file size from its name;
2202   (2) If maildir_use_size is set, a maildirsize file is used to cache the
2203       mailbox size.
2204 */
2205
2206 else
2207   {
2208   uschar *check_path = path;    /* Default quota check path */
2209   const pcre *regex = NULL;     /* Regex for file size from file name */
2210
2211   if (!check_creation(string_sprintf("%s/any", path), ob->create_file))
2212     {
2213     addr->basic_errno = ERRNO_BADCREATE;
2214     addr->message = string_sprintf("tried to create file in %s, but "
2215       "file creation outside the home directory is not permitted", path);
2216     goto RETURN;
2217     }
2218
2219   #ifdef SUPPORT_MAILDIR
2220   /* For a maildir delivery, ensure that all the relevant directories exist,
2221   and a maildirfolder file if necessary. */
2222
2223   if (mbformat == mbf_maildir && !maildir_ensure_directories(path, addr,
2224     ob->create_directory, ob->dirmode, ob->maildirfolder_create_regex))
2225       return FALSE;
2226   #endif  /* SUPPORT_MAILDIR */
2227
2228   /* If we are going to do a quota check, of if maildir_use_size_file is set
2229   for a maildir delivery, compile the regular expression if there is one. We
2230   may also need to adjust the path that is used. We need to do this for
2231   maildir_use_size_file even if the quota is unset, because we still want to
2232   create the file. When maildir support is not compiled,
2233   ob->maildir_use_size_file is always FALSE. */
2234
2235   if (ob->quota_value > 0 || THRESHOLD_CHECK || ob->maildir_use_size_file)
2236     {
2237     const uschar *error;
2238     int offset;
2239
2240     /* Compile the regex if there is one. */
2241
2242     if (ob->quota_size_regex)
2243       {
2244       if (!(regex = pcre_compile(CS ob->quota_size_regex, PCRE_COPT,
2245           CCSS &error, &offset, NULL)))
2246         {
2247         addr->message = string_sprintf("appendfile: regular expression "
2248           "error: %s at offset %d while compiling %s", error, offset,
2249           ob->quota_size_regex);
2250         return FALSE;
2251         }
2252       DEBUG(D_transport) debug_printf("using regex for file sizes: %s\n",
2253         ob->quota_size_regex);
2254       }
2255
2256     /* Use an explicitly configured directory if set */
2257
2258     if (ob->quota_directory)
2259       {
2260       if (!(check_path = expand_string(ob->quota_directory)))
2261         {
2262         addr->message = string_sprintf("Expansion of \"%s\" (quota_directory "
2263          "name for %s transport) failed: %s", ob->quota_directory,
2264           tblock->name, expand_string_message);
2265         goto ret_panic;
2266         }
2267
2268       if (check_path[0] != '/')
2269         {
2270         addr->message = string_sprintf("appendfile: quota_directory name "
2271           "\"%s\" is not absolute", check_path);
2272         addr->basic_errno = ERRNO_NOTABSOLUTE;
2273         return FALSE;
2274         }
2275       }
2276
2277     #ifdef SUPPORT_MAILDIR
2278     /* Otherwise, if we are handling a maildir delivery, and the directory
2279     contains a file called maildirfolder, this is a maildir++ feature telling
2280     us that this is a sub-directory of the real inbox. We should therefore do
2281     the quota check on the parent directory. Beware of the special case when
2282     the directory name itself ends in a slash. */
2283
2284     else if (mbformat == mbf_maildir)
2285       {
2286       struct stat statbuf;
2287       if (Ustat(string_sprintf("%s/maildirfolder", path), &statbuf) >= 0)
2288         {
2289         uschar *new_check_path = string_copy(check_path);
2290         uschar *slash = Ustrrchr(new_check_path, '/');
2291         if (slash != NULL)
2292           {
2293           if (slash[1] == 0)
2294             {
2295             *slash = 0;
2296             slash = Ustrrchr(new_check_path, '/');
2297             }
2298           if (slash != NULL)
2299             {
2300             *slash = 0;
2301             check_path = new_check_path;
2302             DEBUG(D_transport) debug_printf("maildirfolder file exists: "
2303               "quota check directory changed to %s\n", check_path);
2304             }
2305           }
2306         }
2307       }
2308     #endif  /* SUPPORT_MAILDIR */
2309     }
2310
2311   /* If we are using maildirsize files, we need to ensure that such a file
2312   exists and, if necessary, recalculate its contents. As a byproduct of this,
2313   we obtain the current size of the maildir. If no quota is to be enforced
2314   (ob->quota_value == 0), we still need the size if a threshold check will
2315   happen later.
2316
2317   Another regular expression is used to determine which directories inside the
2318   maildir are going to be counted. */
2319
2320   #ifdef SUPPORT_MAILDIR
2321   if (ob->maildir_use_size_file)
2322     {
2323     const pcre *dir_regex = NULL;
2324     const uschar *error;
2325     int offset;
2326
2327     if (ob->maildir_dir_regex)
2328       {
2329       int check_path_len = Ustrlen(check_path);
2330
2331       if (!(dir_regex = pcre_compile(CS ob->maildir_dir_regex, PCRE_COPT,
2332           CCSS &error, &offset, NULL)))
2333         {
2334         addr->message = string_sprintf("appendfile: regular expression "
2335           "error: %s at offset %d while compiling %s", error, offset,
2336           ob->maildir_dir_regex);
2337         return FALSE;
2338         }
2339
2340       DEBUG(D_transport)
2341         debug_printf("using regex for maildir directory selection: %s\n",
2342           ob->maildir_dir_regex);
2343
2344       /* Check to see if we are delivering into an ignored directory, that is,
2345       if the delivery path starts with the quota check path, and the rest
2346       of the deliver path matches the regex; if so, set a flag to disable quota
2347       checking and maildirsize updating. */
2348
2349       if (Ustrncmp(path, check_path, check_path_len) == 0)
2350         {
2351         uschar *s = path + check_path_len;
2352         while (*s == '/') s++;
2353         s = (*s == 0) ? US "new" : string_sprintf("%s/new", s);
2354         if (pcre_exec(dir_regex, NULL, CS s, Ustrlen(s), 0, 0, NULL, 0) < 0)
2355           {
2356           disable_quota = TRUE;
2357           DEBUG(D_transport) debug_printf("delivery directory does not match "
2358             "maildir_quota_directory_regex: disabling quota\n");
2359           }
2360         }
2361       }
2362
2363     /* Quota enforcement; create and check the file. There is some discussion
2364     about whether this should happen if the quota is unset. At present, Exim
2365     always creates the file. If we ever want to change this, uncomment
2366     appropriate lines below, possibly doing a check on some option. */
2367
2368 /*  if (???? || ob->quota_value > 0) */
2369
2370     if (!disable_quota)
2371       {
2372       off_t size;
2373       int filecount;
2374
2375       if ((maildirsize_fd = maildir_ensure_sizefile(check_path, ob, regex, dir_regex,
2376           &size, &filecount)) == -1)
2377         {
2378         addr->basic_errno = errno;
2379         addr->message = string_sprintf("while opening or reading "
2380           "%s/maildirsize", check_path);
2381         return FALSE;
2382         }
2383       /* can also return -2, which means that the file was removed because of
2384       raciness; but in this case, the size & filecount will still have been
2385       updated. */
2386
2387       if (mailbox_size < 0) mailbox_size = size;
2388       if (mailbox_filecount < 0) mailbox_filecount = filecount;
2389       }
2390
2391     /* No quota enforcement; ensure file does *not* exist; calculate size if
2392     needed. */
2393
2394 /*  else
2395  *    {
2396  *    time_t old_latest;
2397  *    (void)unlink(CS string_sprintf("%s/maildirsize", check_path));
2398  *    if (THRESHOLD_CHECK)
2399  *      mailbox_size = maildir_compute_size(check_path, &mailbox_filecount, &old_latest,
2400  *        regex, dir_regex, FALSE);
2401  *    }
2402 */
2403
2404     }
2405   #endif  /* SUPPORT_MAILDIR */
2406
2407   /* Otherwise if we are going to do a quota check later on, and the mailbox
2408   size is not set, find the current size of the mailbox. Ditto for the file
2409   count. Note that ob->quota_filecount_value cannot be set without
2410   ob->quota_value being set. */
2411
2412   if (!disable_quota &&
2413       (ob->quota_value > 0 || THRESHOLD_CHECK) &&
2414       (mailbox_size < 0 ||
2415         (mailbox_filecount < 0 && ob->quota_filecount_value > 0)))
2416     {
2417     off_t size;
2418     int filecount = 0;
2419     DEBUG(D_transport)
2420       debug_printf("quota checks on directory %s\n", check_path);
2421     size = check_dir_size(check_path, &filecount, regex);
2422     if (mailbox_size < 0) mailbox_size = size;
2423     if (mailbox_filecount < 0) mailbox_filecount = filecount;
2424     }
2425
2426   /* Handle the case of creating a unique file in a given directory (not in
2427   maildir or mailstore format - this is how smail did it). A temporary name is
2428   used to create the file. Later, when it is written, the name is changed to a
2429   unique one. There is no need to lock the file. An attempt is made to create
2430   the directory if it does not exist. */
2431
2432   if (mbformat == mbf_smail)
2433     {
2434     DEBUG(D_transport)
2435       debug_printf("delivering to new file in %s\n", path);
2436     filename = dataname =
2437       string_sprintf("%s/temp.%d.%s", path, (int)getpid(), primary_hostname);
2438     fd = Uopen(filename, O_WRONLY|O_CREAT, mode);
2439     if (fd < 0 &&                                 /* failed to open, and */
2440         (errno != ENOENT ||                       /* either not non-exist */
2441          !ob->create_directory ||                 /* or not allowed to make */
2442          !directory_make(NULL, path, ob->dirmode, FALSE) ||  /* or failed to create dir */
2443          (fd = Uopen(filename, O_WRONLY|O_CREAT|O_EXCL, mode)) < 0)) /* or then failed to open */
2444       {
2445       addr->basic_errno = errno;
2446       addr->message = string_sprintf("while creating file %s", filename);
2447       return FALSE;
2448       }
2449     }
2450
2451   #ifdef SUPPORT_MAILDIR
2452
2453   /* Handle the case of a unique file in maildir format. The file is written to
2454   the tmp subdirectory, with a prescribed form of name. */
2455
2456   else if (mbformat == mbf_maildir)
2457     {
2458     DEBUG(D_transport)
2459       debug_printf("delivering in maildir format in %s\n", path);
2460
2461     nametag = ob->maildir_tag;
2462
2463     /* Check that nametag expands successfully; a hard failure causes a panic
2464     return. The actual expansion for use happens again later, when
2465     $message_size is accurately known. */
2466
2467     if (nametag && !expand_string(nametag) && !f.expand_string_forcedfail)
2468       {
2469       addr->message = string_sprintf("Expansion of \"%s\" (maildir_tag "
2470         "for %s transport) failed: %s", nametag, tblock->name,
2471         expand_string_message);
2472       goto ret_panic;
2473       }
2474
2475     /* We ensured the existence of all the relevant directories above. Attempt
2476     to open the temporary file a limited number of times. I think this rather
2477     scary-looking for statement is actually OK. If open succeeds, the loop is
2478     broken; if not, there is a test on the value of i. Get the time again
2479     afresh each time round the loop. Its value goes into a variable that is
2480     checked at the end, to make sure we don't release this process until the
2481     clock has ticked. */
2482
2483     for (int i = 1;; i++)
2484       {
2485       uschar *basename;
2486
2487       (void)gettimeofday(&msg_tv, NULL);
2488       basename = string_sprintf(TIME_T_FMT ".H%luP" PID_T_FMT ".%s",
2489         msg_tv.tv_sec, msg_tv.tv_usec, getpid(), primary_hostname);
2490
2491       filename = dataname = string_sprintf("tmp/%s", basename);
2492       newname = string_sprintf("new/%s", basename);
2493
2494       if (Ustat(filename, &statbuf) == 0)
2495         errno = EEXIST;
2496       else if (errno == ENOENT)
2497         {
2498         if ((fd = Uopen(filename, O_WRONLY | O_CREAT | O_EXCL, mode)) >= 0)
2499           break;
2500         DEBUG (D_transport) debug_printf ("open failed for %s: %s\n",
2501           filename, strerror(errno));
2502         }
2503
2504       /* Too many retries - give up */
2505
2506       if (i >= ob->maildir_retries)
2507         {
2508         addr->message = string_sprintf ("failed to open %s (%d tr%s)",
2509           filename, i, (i == 1) ? "y" : "ies");
2510         addr->basic_errno = errno;
2511         if (errno == errno_quota || errno == ENOSPC)
2512           addr->user_message = US"mailbox is full";
2513         return FALSE;
2514         }
2515
2516       /* Open or stat failed but we haven't tried too many times yet. */
2517
2518       sleep(2);
2519       }
2520
2521     /* Note that we have to ensure the clock has ticked before leaving */
2522
2523     wait_for_tick = TRUE;
2524
2525     /* Why are these here? Put in because they are present in the non-maildir
2526     directory case above. */
2527
2528     if (exim_chown(filename, uid, gid) || Uchmod(filename, mode))
2529       {
2530       addr->basic_errno = errno;
2531       addr->message = string_sprintf("while setting perms on maildir %s",
2532         filename);
2533       return FALSE;
2534       }
2535     }
2536
2537   #endif  /* SUPPORT_MAILDIR */
2538
2539   #ifdef SUPPORT_MAILSTORE
2540
2541   /* Handle the case of a unique file in mailstore format. First write the
2542   envelope to a temporary file, then open the main file. The unique base name
2543   for the files consists of the message id plus the pid of this delivery
2544   process. */
2545
2546   else
2547     {
2548     FILE *env_file;
2549     mailstore_basename = string_sprintf("%s/%s-%s", path, message_id,
2550       string_base62((long int)getpid()));
2551
2552     DEBUG(D_transport)
2553       debug_printf("delivering in mailstore format in %s\n", path);
2554
2555     filename = string_sprintf("%s.tmp", mailstore_basename);
2556     newname  = string_sprintf("%s.env", mailstore_basename);
2557     dataname = string_sprintf("%s.msg", mailstore_basename);
2558
2559     fd = Uopen(filename, O_WRONLY|O_CREAT|O_EXCL, mode);
2560     if (fd < 0 &&                                 /* failed to open, and */
2561         (errno != ENOENT ||                       /* either not non-exist */
2562          !ob->create_directory ||                 /* or not allowed to make */
2563          !directory_make(NULL, path, ob->dirmode, FALSE) ||  /* or failed to create dir */
2564          (fd = Uopen(filename, O_WRONLY|O_CREAT|O_EXCL, mode)) < 0)) /* or then failed to open */
2565       {
2566       addr->basic_errno = errno;
2567       addr->message = string_sprintf("while creating file %s", filename);
2568       return FALSE;
2569       }
2570
2571     /* Why are these here? Put in because they are present in the non-maildir
2572     directory case above. */
2573
2574     if (exim_chown(filename, uid, gid) || Uchmod(filename, mode))
2575       {
2576       addr->basic_errno = errno;
2577       addr->message = string_sprintf("while setting perms on file %s",
2578         filename);
2579       return FALSE;
2580       }
2581
2582     /* Built a C stream from the open file descriptor. */
2583
2584     if (!(env_file = fdopen(fd, "wb")))
2585       {
2586       addr->basic_errno = errno;
2587       addr->message = string_sprintf("fdopen of %s ("
2588         "for %s transport) failed", filename, tblock->name);
2589       (void)close(fd);
2590       Uunlink(filename);
2591       goto ret_panic;
2592       }
2593
2594     /* Write the envelope file, then close it. */
2595
2596     if (ob->mailstore_prefix)
2597       {
2598       uschar *s = expand_string(ob->mailstore_prefix);
2599       if (!s)
2600         {
2601         if (!f.expand_string_forcedfail)
2602           {
2603           addr->message = string_sprintf("Expansion of \"%s\" (mailstore "
2604             "prefix for %s transport) failed: %s", ob->mailstore_prefix,
2605             tblock->name, expand_string_message);
2606           (void)fclose(env_file);
2607           Uunlink(filename);
2608           goto ret_panic;
2609           }
2610         }
2611       else
2612         {
2613         int n = Ustrlen(s);
2614         fprintf(env_file, "%s", CS s);
2615         if (n == 0 || s[n-1] != '\n') fprintf(env_file, "\n");
2616         }
2617       }
2618
2619     fprintf(env_file, "%s\n", sender_address);
2620
2621     for (address_item * taddr = addr; taddr; taddr = taddr->next)
2622       fprintf(env_file, "%s@%s\n", taddr->local_part, taddr->domain);
2623
2624     if (ob->mailstore_suffix)
2625       {
2626       uschar *s = expand_string(ob->mailstore_suffix);
2627       if (!s)
2628         {
2629         if (!f.expand_string_forcedfail)
2630           {
2631           addr->message = string_sprintf("Expansion of \"%s\" (mailstore "
2632             "suffix for %s transport) failed: %s", ob->mailstore_suffix,
2633             tblock->name, expand_string_message);
2634           (void)fclose(env_file);
2635           Uunlink(filename);
2636           goto ret_panic;
2637           }
2638         }
2639       else
2640         {
2641         int n = Ustrlen(s);
2642         fprintf(env_file, "%s", CS s);
2643         if (n == 0 || s[n-1] != '\n') fprintf(env_file, "\n");
2644         }
2645       }
2646
2647     if (fclose(env_file) != 0)
2648       {
2649       addr->basic_errno = errno;
2650       addr->message = string_sprintf("while closing %s", filename);
2651       Uunlink(filename);
2652       return FALSE;
2653       }
2654
2655     DEBUG(D_transport) debug_printf("Envelope file %s written\n", filename);
2656
2657     /* Now open the data file, and ensure that it has the correct ownership and
2658     mode. */
2659
2660     if ((fd = Uopen(dataname, O_WRONLY|O_CREAT|O_EXCL, mode)) < 0)
2661       {
2662       addr->basic_errno = errno;
2663       addr->message = string_sprintf("while creating file %s", dataname);
2664       Uunlink(filename);
2665       return FALSE;
2666       }
2667     if (exim_chown(dataname, uid, gid) || Uchmod(dataname, mode))
2668       {
2669       addr->basic_errno = errno;
2670       addr->message = string_sprintf("while setting perms on file %s",
2671         dataname);
2672       return FALSE;
2673       }
2674     }
2675
2676   #endif  /* SUPPORT_MAILSTORE */
2677
2678
2679   /* In all cases of writing to a new file, ensure that the file which is
2680   going to be renamed has the correct ownership and mode. */
2681
2682   if (exim_chown(filename, uid, gid) || Uchmod(filename, mode))
2683     {
2684     addr->basic_errno = errno;
2685     addr->message = string_sprintf("while setting perms on file %s",
2686       filename);
2687     return FALSE;
2688     }
2689   }
2690
2691
2692 /* At last we can write the message to the file, preceded by any configured
2693 prefix line, and followed by any configured suffix line. If there are any
2694 writing errors, we must defer. */
2695
2696 DEBUG(D_transport) debug_printf("writing to file %s\n", dataname);
2697
2698 yield = OK;
2699 errno = 0;
2700
2701 /* If there is a local quota setting, check that we are not going to exceed it
2702 with this message if quota_is_inclusive is set; if it is not set, the check
2703 is for the mailbox already being over quota (i.e. the current message is not
2704 included in the check). */
2705
2706 if (!disable_quota && ob->quota_value > 0)
2707   {
2708   DEBUG(D_transport)
2709     {
2710     debug_printf("Exim quota = " OFF_T_FMT " old size = " OFF_T_FMT
2711       " this message = %d (%sincluded)\n",
2712       ob->quota_value, mailbox_size, message_size,
2713       ob->quota_is_inclusive ? "" : "not ");
2714     debug_printf("  file count quota = %d count = %d\n",
2715       ob->quota_filecount_value, mailbox_filecount);
2716     }
2717
2718   if (mailbox_size + (ob->quota_is_inclusive ? message_size:0) > ob->quota_value)
2719     if (!ob->quota_no_check)
2720       {
2721       DEBUG(D_transport) debug_printf("mailbox quota exceeded\n");
2722       yield = DEFER;
2723       errno = ERRNO_EXIMQUOTA;
2724       }
2725     else
2726       DEBUG(D_transport) debug_printf("mailbox quota exceeded but ignored\n");
2727
2728   if (ob->quota_filecount_value > 0
2729            && mailbox_filecount + (ob->quota_is_inclusive ? 1:0) >
2730               ob->quota_filecount_value)
2731     if (!ob->quota_filecount_no_check)
2732       {
2733       DEBUG(D_transport) debug_printf("mailbox file count quota exceeded\n");
2734       yield = DEFER;
2735       errno = ERRNO_EXIMQUOTA;
2736       filecount_msg = US" filecount";
2737       }
2738     else DEBUG(D_transport) if (ob->quota_filecount_no_check)
2739       debug_printf("mailbox file count quota exceeded but ignored\n");
2740
2741   }
2742
2743 /* If we are writing in MBX format, what we actually do is to write the message
2744 to a temporary file, and then copy it to the real file once we know its size.
2745 This is the most straightforward way of getting the correct length in the
2746 separator line. So, what we do here is to save the real file descriptor, and
2747 replace it with one for a temporary file. The temporary file gets unlinked once
2748 opened, so that it goes away on closure. */
2749
2750 #ifdef SUPPORT_MBX
2751 if (yield == OK && ob->mbx_format)
2752   {
2753   if (!(temp_file = tmpfile()))
2754     {
2755     addr->basic_errno = errno;
2756     addr->message = US"while setting up temporary file";
2757     yield = DEFER;
2758     goto RETURN;
2759     }
2760   save_fd = fd;
2761   fd = fileno(temp_file);
2762   DEBUG(D_transport) debug_printf("writing to temporary file\n");
2763   }
2764 #endif  /* SUPPORT_MBX */
2765
2766 /* Zero the count of bytes written. It is incremented by the transport_xxx()
2767 functions. */
2768
2769 transport_count = 0;
2770 transport_newlines = 0;
2771
2772 /* Write any configured prefix text first */
2773
2774 if (yield == OK && ob->message_prefix && *ob->message_prefix)
2775   {
2776   uschar *prefix = expand_string(ob->message_prefix);
2777   if (!prefix)
2778     {
2779     errno = ERRNO_EXPANDFAIL;
2780     addr->transport_return = PANIC;
2781     addr->message = string_sprintf("Expansion of \"%s\" (prefix for %s "
2782       "transport) failed", ob->message_prefix, tblock->name);
2783     yield = DEFER;
2784     }
2785   else if (!transport_write_string(fd, "%s", prefix)) yield = DEFER;
2786   }
2787
2788 /* If the use_bsmtp option is on, we need to write SMTP prefix information. The
2789 various different values for batching are handled outside; if there is more
2790 than one address available here, all must be included. If any address is a
2791 file, use its parent in the RCPT TO. */
2792
2793 if (yield == OK && ob->use_bsmtp)
2794   {
2795   transport_count = 0;
2796   transport_newlines = 0;
2797   if (ob->use_crlf) cr = US"\r";
2798   if (!transport_write_string(fd, "MAIL FROM:<%s>%s\n", return_path, cr))
2799     yield = DEFER;
2800   else
2801     {
2802     transport_newlines++;
2803     for (address_item * a = addr; a; a = a->next)
2804       {
2805       address_item * b = testflag(a, af_pfr) ? a->parent : a;
2806       if (!transport_write_string(fd, "RCPT TO:<%s>%s\n",
2807         transport_rcpt_address(b, tblock->rcpt_include_affixes), cr))
2808           { yield = DEFER; break; }
2809       transport_newlines++;
2810       }
2811     if (yield == OK && !transport_write_string(fd, "DATA%s\n", cr))
2812       yield = DEFER;
2813     else
2814       transport_newlines++;
2815     }
2816   }
2817
2818 /* Now the message itself. The options for transport_write_message were set up
2819 at initialization time. */
2820
2821 if (yield == OK)
2822   {
2823   transport_ctx tctx = {
2824     .u = {.fd=fd},
2825     .tblock = tblock,
2826     .addr = addr,
2827     .check_string = ob->check_string,
2828     .escape_string = ob->escape_string,
2829     .options =  ob->options | topt_not_socket
2830   };
2831   if (!transport_write_message(&tctx, 0))
2832     yield = DEFER;
2833   }
2834
2835 /* Now a configured suffix. */
2836
2837 if (yield == OK && ob->message_suffix && *ob->message_suffix)
2838   {
2839   uschar *suffix = expand_string(ob->message_suffix);
2840   if (!suffix)
2841     {
2842     errno = ERRNO_EXPANDFAIL;
2843     addr->transport_return = PANIC;
2844     addr->message = string_sprintf("Expansion of \"%s\" (suffix for %s "
2845       "transport) failed", ob->message_suffix, tblock->name);
2846     yield = DEFER;
2847     }
2848   else if (!transport_write_string(fd, "%s", suffix)) yield = DEFER;
2849   }
2850
2851 /* If batch smtp, write the terminating dot. */
2852
2853 if (yield == OK && ob->use_bsmtp)
2854   if (!transport_write_string(fd, ".%s\n", cr)) yield = DEFER;
2855   else transport_newlines++;
2856
2857 /* If MBX format is being used, all that writing was to the temporary file.
2858 However, if there was an earlier failure (Exim quota exceeded, for example),
2859 the temporary file won't have got opened - and no writing will have been done.
2860 If writing was OK, we restore the fd, and call a function that copies the
2861 message in MBX format into the real file. Otherwise use the temporary name in
2862 any messages. */
2863
2864 #ifdef SUPPORT_MBX
2865 if (temp_file && ob->mbx_format)
2866   {
2867   int mbx_save_errno;
2868   fd = save_fd;
2869
2870   if (yield == OK)
2871     {
2872     transport_count = 0;   /* Reset transport count for actual write */
2873     /* No need to reset transport_newlines as we're just using a block copy
2874      * routine so the number won't be affected */
2875     yield = copy_mbx_message(fd, fileno(temp_file), saved_size);
2876     }
2877   else if (errno >= 0) dataname = US"temporary file";
2878
2879   /* Preserve errno while closing the temporary file. */
2880
2881   mbx_save_errno = errno;
2882   (void)fclose(temp_file);
2883   errno = mbx_save_errno;
2884   }
2885 #endif  /* SUPPORT_MBX */
2886
2887 /* Force out the remaining data to check for any errors; some OS don't allow
2888 fsync() to be called for a FIFO. */
2889
2890 if (yield == OK && !isfifo && EXIMfsync(fd) < 0) yield = DEFER;
2891
2892 /* Update message_size and message_linecount to the accurate count of bytes
2893 written, including added headers. Note; we subtract 1 from message_linecount as
2894 this variable doesn't count the new line between the header and the body of the
2895 message. */
2896
2897 message_size = transport_count;
2898 message_linecount = transport_newlines - 1;
2899
2900 /* If using a maildir++ quota file, add this message's size to it, and
2901 close the file descriptor, except when the quota has been disabled because we
2902 are delivering into an uncounted folder. */
2903
2904 #ifdef SUPPORT_MAILDIR
2905 if (!disable_quota)
2906   {
2907   if (yield == OK && maildirsize_fd >= 0)
2908     maildir_record_length(maildirsize_fd, message_size);
2909   maildir_save_errno = errno;    /* Preserve errno while closing the file */
2910   if (maildirsize_fd >= 0)
2911     (void)close(maildirsize_fd);
2912   errno = maildir_save_errno;
2913   }
2914 #endif  /* SUPPORT_MAILDIR */
2915
2916 /* If there is a quota warning threshold and we are have crossed it with this
2917 message, set the SPECIAL_WARN flag in the address, to cause a warning message
2918 to be sent. */
2919
2920 if (!disable_quota && THRESHOLD_CHECK)
2921   {
2922   off_t threshold = ob->quota_warn_threshold_value;
2923   if (ob->quota_warn_threshold_is_percent)
2924     threshold = (off_t)(((double)ob->quota_value * threshold) / 100);
2925   DEBUG(D_transport)
2926     debug_printf("quota = " OFF_T_FMT
2927       " threshold = " OFF_T_FMT
2928       " old size = " OFF_T_FMT
2929       " message size = %d\n",
2930       ob->quota_value, threshold, mailbox_size,
2931       message_size);
2932   if (mailbox_size <= threshold && mailbox_size + message_size > threshold)
2933     addr->special_action = SPECIAL_WARN;
2934
2935   /******* You might think that the test ought to be this:
2936   *
2937   * if (ob->quota_value > 0 && threshold > 0 && mailbox_size > 0 &&
2938   *     mailbox_size <= threshold && mailbox_size + message_size > threshold)
2939   *
2940   * (indeed, I was sent a patch with that in). However, it is possible to
2941   * have a warning threshold without actually imposing a quota, and I have
2942   * therefore kept Exim backwards compatible.
2943   ********/
2944
2945   }
2946
2947 /* Handle error while writing the file. Control should come here directly after
2948 the error, with the reason in errno. In the case of expansion failure in prefix
2949 or suffix, it will be ERRNO_EXPANDFAIL. */
2950
2951 if (yield != OK)
2952   {
2953   addr->special_action = SPECIAL_NONE;     /* Cancel any quota warning */
2954
2955   /* Save the error number. If positive, it will ultimately cause a strerror()
2956   call to generate some text. */
2957
2958   addr->basic_errno = errno;
2959
2960   /* For system or Exim quota excession, or disk full, set more_errno to the
2961   time since the file was last read. If delivery was into a directory, the
2962   time since last read logic is not relevant, in general. However, for maildir
2963   deliveries we can approximate it by looking at the last modified time of the
2964   "new" subdirectory. Since Exim won't be adding new messages, a change to the
2965   "new" subdirectory implies that an MUA has moved a message from there to the
2966   "cur" directory. */
2967
2968   if (errno == errno_quota || errno == ERRNO_EXIMQUOTA || errno == ENOSPC)
2969     {
2970     addr->more_errno = 0;
2971     if (!isdirectory) addr->more_errno = (int)(time(NULL) - times.actime);
2972
2973     #ifdef SUPPORT_MAILDIR
2974     else if (mbformat == mbf_maildir)
2975       {
2976       struct stat statbuf;
2977       if (Ustat("new", &statbuf) < 0)
2978         {
2979         DEBUG(D_transport) debug_printf("maildir quota exceeded: "
2980           "stat error %d for \"new\": %s\n", errno, strerror(errno));
2981         }
2982       else   /* Want a repeatable time when in test harness */
2983         addr->more_errno = f.running_in_test_harness ? 10 :
2984           (int)time(NULL) - statbuf.st_mtime;
2985
2986       DEBUG(D_transport)
2987         debug_printf("maildir: time since \"new\" directory modified = %s\n",
2988         readconf_printtime(addr->more_errno));
2989       }
2990     #endif /* SUPPORT_MAILDIR */
2991     }
2992
2993   /* Handle system quota excession. Add an explanatory phrase for the error
2994   message, since some systems don't have special quota-excession errors,
2995   and on those that do, "quota" doesn't always mean anything to the user. */
2996
2997   if (errno == errno_quota)
2998     {
2999     #ifndef EDQUOT
3000     addr->message = string_sprintf("mailbox is full "
3001       "(quota exceeded while writing to file %s)", filename);
3002     #else
3003     addr->message = US"mailbox is full";
3004     #endif  /* EDQUOT */
3005     addr->user_message = US"mailbox is full";
3006     DEBUG(D_transport) debug_printf("System quota exceeded for %s%s%s\n",
3007       dataname,
3008       isdirectory ? US"" : US": time since file read = ",
3009       isdirectory ? US"" : readconf_printtime(addr->more_errno));
3010     }
3011
3012   /* Handle Exim's own quota-imposition */
3013
3014   else if (errno == ERRNO_EXIMQUOTA)
3015     {
3016     addr->message = string_sprintf("mailbox is full "
3017       "(MTA-imposed%s quota exceeded while writing to %s)", filecount_msg,
3018         dataname);
3019     addr->user_message = US"mailbox is full";
3020     DEBUG(D_transport) debug_printf("Exim%s quota exceeded for %s%s%s\n",
3021       filecount_msg, dataname,
3022       isdirectory ? US"" : US": time since file read = ",
3023       isdirectory ? US"" : readconf_printtime(addr->more_errno));
3024     }
3025
3026   /* Handle a process failure while writing via a filter; the return
3027   from child_close() is in more_errno. */
3028
3029   else if (errno == ERRNO_FILTER_FAIL)
3030     {
3031     yield = PANIC;
3032     addr->message = string_sprintf("transport filter process failed (%d) "
3033       "while writing to %s%s", addr->more_errno, dataname,
3034       (addr->more_errno == EX_EXECFAILED) ? ": unable to execute command" : "");
3035     }
3036
3037   /* Handle failure to expand header changes */
3038
3039   else if (errno == ERRNO_CHHEADER_FAIL)
3040     {
3041     yield = PANIC;
3042     addr->message =
3043       string_sprintf("failed to expand headers_add or headers_remove while "
3044         "writing to %s: %s", dataname, expand_string_message);
3045     }
3046
3047   /* Handle failure to complete writing of a data block */
3048
3049   else if (errno == ERRNO_WRITEINCOMPLETE)
3050     addr->message = string_sprintf("failed to write data block while "
3051       "writing to %s", dataname);
3052
3053   /* Handle length mismatch on MBX copying */
3054
3055   #ifdef SUPPORT_MBX
3056   else if (errno == ERRNO_MBXLENGTH)
3057     addr->message = string_sprintf("length mismatch while copying MBX "
3058       "temporary file to %s", dataname);
3059   #endif  /* SUPPORT_MBX */
3060
3061   /* For other errors, a general-purpose explanation, if the message is
3062   not already set. */
3063
3064   else if (addr->message == NULL)
3065     addr->message = string_sprintf("error while writing to %s", dataname);
3066
3067   /* For a file, reset the file size to what it was before we started, leaving
3068   the last modification time unchanged, so it will get reset also. All systems
3069   investigated so far have ftruncate(), whereas not all have the F_FREESP
3070   fcntl() call (BSDI & FreeBSD do not). */
3071
3072   if (!isdirectory && ftruncate(fd, saved_size))
3073     DEBUG(D_transport) debug_printf("Error resetting file size\n");
3074   }
3075
3076 /* Handle successful writing - we want the modification time to be now for
3077 appended files. Remove the default backstop error number. For a directory, now
3078 is the time to rename the file with a unique name. As soon as such a name
3079 appears it may get used by another process, so we close the file first and
3080 check that all is well. */
3081
3082 else
3083   {
3084   times.modtime = time(NULL);
3085   addr->basic_errno = 0;
3086
3087   /* Handle the case of writing to a new file in a directory. This applies
3088   to all single-file formats - maildir, mailstore, and "smail format". */
3089
3090   if (isdirectory)
3091     {
3092     if (fstat(fd, &statbuf) < 0)
3093       {
3094       addr->basic_errno = errno;
3095       addr->message = string_sprintf("while fstatting opened message file %s",
3096         filename);
3097       yield = DEFER;
3098       }
3099
3100     else if (close(fd) < 0)
3101       {
3102       addr->basic_errno = errno;
3103       addr->message = string_sprintf("close() error for %s",
3104         (ob->mailstore_format) ? dataname : filename);
3105       yield = DEFER;
3106       }
3107
3108     /* File is successfully written and closed. Arrange to rename it. For the
3109     different kinds of single-file delivery, some games can be played with the
3110     name. The message size is by this time set to the accurate value so that
3111     its value can be used in expansions. */
3112
3113     else
3114       {
3115       uschar *renamename = newname;
3116       fd = -1;
3117
3118       DEBUG(D_transport) debug_printf("renaming temporary file\n");
3119
3120       /* If there is no rename name set, we are in a non-maildir, non-mailstore
3121       situation. The name is built by expanding the directory_file option, and
3122       we make the inode number available for use in this. The expansion was
3123       checked for syntactic validity above, before we wrote the file.
3124
3125       We have to be careful here, in case the file name exists. (In the other
3126       cases, the names used are constructed to be unique.) The rename()
3127       function just replaces an existing file - we don't want that! So instead
3128       of calling rename(), we must use link() and unlink().
3129
3130       In this case, if the link fails because of an existing file, we wait
3131       for one second and try the expansion again, to see if it produces a
3132       different value. Do this up to 5 times unless the name stops changing.
3133       This makes it possible to build values that are based on the time, and
3134       still cope with races from multiple simultaneous deliveries. */
3135
3136       if (!newname)
3137         {
3138         uschar *renameleaf;
3139         uschar *old_renameleaf = US"";
3140
3141         for (int i = 0; ; sleep(1), i++)
3142           {
3143           deliver_inode = statbuf.st_ino;
3144           renameleaf = expand_string(ob->dirfilename);
3145           deliver_inode = 0;
3146
3147           if (!renameleaf)
3148             {
3149             addr->transport_return = PANIC;
3150             addr->message = string_sprintf("Expansion of \"%s\" "
3151               "(directory_file for %s transport) failed: %s",
3152               ob->dirfilename, tblock->name, expand_string_message);
3153             goto RETURN;
3154             }
3155
3156           renamename = string_sprintf("%s/%s", path, renameleaf);
3157           if (Ulink(filename, renamename) < 0)
3158             {
3159             DEBUG(D_transport) debug_printf("link failed: %s\n",
3160               strerror(errno));
3161             if (errno != EEXIST || i >= 4 ||
3162                 Ustrcmp(renameleaf, old_renameleaf) == 0)
3163               {
3164               addr->basic_errno = errno;
3165               addr->message = string_sprintf("while renaming %s as %s",
3166                 filename, renamename);
3167               yield = DEFER;
3168               break;
3169               }
3170             old_renameleaf = renameleaf;
3171             DEBUG(D_transport) debug_printf("%s exists - trying again\n",
3172               renamename);
3173             }
3174           else
3175             {
3176             Uunlink(filename);
3177             filename = NULL;
3178             break;
3179             }
3180           }        /* re-expand loop */
3181         }          /* not mailstore or maildir */
3182
3183       /* For maildir and mailstore formats, the new name was created earlier,
3184       except that for maildir, there is the possibility of adding a "tag" on
3185       the end of the name by expanding the value of nametag. This usually
3186       includes a reference to the message size. The expansion of nametag was
3187       checked above, before the file was opened. It either succeeded, or
3188       provoked a soft failure. So any failure here can be treated as soft.
3189       Ignore non-printing characters and / and put a colon at the start if the
3190       first character is alphanumeric. */
3191
3192       else
3193         {
3194         if (nametag)
3195           {
3196           uschar *iptr = expand_string(nametag);
3197           if (iptr)
3198             {
3199             uschar *etag = store_get(Ustrlen(iptr) + 2, is_tainted(iptr));
3200             uschar *optr = etag;
3201             for ( ; *iptr; iptr++)
3202               if (mac_isgraph(*iptr) && *iptr != '/')
3203                 {
3204                 if (optr == etag && isalnum(*iptr)) *optr++ = ':';
3205                 *optr++ = *iptr;
3206                 }
3207             *optr = 0;
3208             renamename = string_sprintf("%s%s", newname, etag);
3209             }
3210           }
3211
3212         /* Do the rename. If the name is too long and a tag exists, try again
3213         without the tag. */
3214
3215         if (Urename(filename, renamename) < 0 &&
3216                (nametag == NULL || errno != ENAMETOOLONG ||
3217                (renamename = newname, Urename(filename, renamename) < 0)))
3218           {
3219           addr->basic_errno = errno;
3220           addr->message = string_sprintf("while renaming %s as %s",
3221             filename, renamename);
3222           yield = DEFER;
3223           }
3224
3225         /* Rename succeeded */
3226
3227         else
3228           {
3229           DEBUG(D_transport) debug_printf("renamed %s as %s\n", filename,
3230             renamename);
3231           filename = dataname = NULL;   /* Prevents attempt to unlink at end */
3232           }
3233         }        /* maildir or mailstore */
3234       }          /* successful write + close */
3235     }            /* isdirectory */
3236   }              /* write success */
3237
3238
3239 /* For a file, restore the last access time (atime), and set the modification
3240 time as required - changed if write succeeded, unchanged if not. */
3241
3242 if (!isdirectory) utime(CS filename, &times);
3243
3244 /* Notify comsat if configured to do so. It only makes sense if the configured
3245 file is the one that the comsat daemon knows about. */
3246
3247 if (ob->notify_comsat && yield == OK && deliver_localpart)
3248   notify_comsat(deliver_localpart, saved_size);
3249
3250 /* Pass back the final return code in the address structure */
3251
3252 DEBUG(D_transport)
3253   debug_printf("appendfile yields %d with errno=%d more_errno=%d\n",
3254     yield, addr->basic_errno, addr->more_errno);
3255
3256 addr->transport_return = yield;
3257
3258 /* Close the file, which will release the fcntl lock. For a directory write it
3259 is closed above, except in cases of error which goto RETURN, when we also need
3260 to remove the original file(s). For MBX locking, if all has gone well, before
3261 closing the file, see if we can get an exclusive lock on it, in which case we
3262 can unlink the /tmp lock file before closing it. This is always a non-blocking
3263 lock; there's no need to wait if we can't get it. If everything has gone right
3264 but close fails, defer the message. Then unlink the lock file, if present. This
3265 point in the code is jumped to from a number of places when errors are
3266 detected, in order to get the file closed and the lock file tidied away. */
3267
3268 RETURN:
3269
3270 #ifdef SUPPORT_MBX
3271 if (mbx_lockfd >= 0)
3272   {
3273   if (yield == OK && apply_lock(fd, F_WRLCK, ob->use_fcntl, 0,
3274       ob->use_flock, 0) >= 0)
3275     {
3276     DEBUG(D_transport)
3277       debug_printf("unlinking MBX lock file %s\n", mbx_lockname);
3278     Uunlink(mbx_lockname);
3279     }
3280   (void)close(mbx_lockfd);
3281   }
3282 #endif  /* SUPPORT_MBX */
3283
3284 if (fd >= 0 && close(fd) < 0 && yield == OK)
3285   {
3286   addr->basic_errno = errno;
3287   addr->message = string_sprintf("while closing %s", filename);
3288   addr->transport_return = DEFER;
3289   }
3290
3291 if (hd >= 0) Uunlink(lockname);
3292
3293 /* We get here with isdirectory and filename set only in error situations. */
3294
3295 if (isdirectory && filename)
3296   {
3297   Uunlink(filename);
3298   if (dataname != filename) Uunlink(dataname);
3299   }
3300
3301 /* If wait_for_tick is TRUE, we have done a delivery where the uniqueness of a
3302 file name relies on time + pid. We must not allow the process to finish until
3303 the clock has move on by at least one microsecond. Usually we expect this
3304 already to be the case, but machines keep getting faster... */
3305
3306 if (wait_for_tick) exim_wait_tick(&msg_tv, 1);
3307
3308 /* A return of FALSE means that if there was an error, a common error was
3309 put in the first address of a batch. */
3310
3311 return FALSE;
3312
3313 ret_panic:
3314   addr->transport_return = PANIC;
3315   return FALSE;
3316 }
3317
3318 #endif  /*!MACRO_PREDEF*/
3319 /* End of transport/appendfile.c */