977150c1d44e22ae17099c6e40af4c538f2e09bc
[exim.git] / src / src / receive.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2014 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Code for receiving a message and setting up spool files. */
9
10 #include "exim.h"
11
12 #ifdef EXPERIMENTAL_DCC
13 extern int dcc_ok;
14 #endif
15
16 #ifdef EXPERIMENTAL_DMARC
17 # include "dmarc.h"
18 #endif /* EXPERIMENTAL_DMARC */
19
20 /*************************************************
21 *                Local static variables          *
22 *************************************************/
23
24 static FILE   *data_file = NULL;
25 static int     data_fd = -1;
26 static uschar  spool_name[256];
27
28
29
30 /*************************************************
31 *      Non-SMTP character reading functions      *
32 *************************************************/
33
34 /* These are the default functions that are set up in the variables such as
35 receive_getc initially. They just call the standard functions, passing stdin as
36 the file. (When SMTP input is occurring, different functions are used by
37 changing the pointer variables.) */
38
39 int
40 stdin_getc(void)
41 {
42 return getc(stdin);
43 }
44
45 int
46 stdin_ungetc(int c)
47 {
48 return ungetc(c, stdin);
49 }
50
51 int
52 stdin_feof(void)
53 {
54 return feof(stdin);
55 }
56
57 int
58 stdin_ferror(void)
59 {
60 return ferror(stdin);
61 }
62
63
64
65
66 /*************************************************
67 *     Check that a set sender is allowed         *
68 *************************************************/
69
70 /* This function is called when a local caller sets an explicit sender address.
71 It checks whether this is permitted, which it is for trusted callers.
72 Otherwise, it must match the pattern(s) in untrusted_set_sender.
73
74 Arguments:  the proposed sender address
75 Returns:    TRUE for a trusted caller
76             TRUE if the address has been set, untrusted_set_sender has been
77               set, and the address matches something in the list
78             FALSE otherwise
79 */
80
81 BOOL
82 receive_check_set_sender(uschar *newsender)
83 {
84 uschar *qnewsender;
85 if (trusted_caller) return TRUE;
86 if (newsender == NULL || untrusted_set_sender == NULL) return FALSE;
87 qnewsender = (Ustrchr(newsender, '@') != NULL)?
88   newsender : string_sprintf("%s@%s", newsender, qualify_domain_sender);
89 return
90   match_address_list(qnewsender, TRUE, TRUE, &untrusted_set_sender, NULL, -1,
91     0, NULL) == OK;
92 }
93
94
95
96
97 /*************************************************
98 *          Read space info for a partition       *
99 *************************************************/
100
101 /* This function is called by receive_check_fs() below, and also by string
102 expansion for variables such as $spool_space. The field names for the statvfs
103 structure are macros, because not all OS have F_FAVAIL and it seems tidier to
104 have macros for F_BAVAIL and F_FILES as well. Some kinds of file system do not
105 have inodes, and they return -1 for the number available.
106
107 Later: It turns out that some file systems that do not have the concept of
108 inodes return 0 rather than -1. Such systems should also return 0 for the total
109 number of inodes, so we require that to be greater than zero before returning
110 an inode count.
111
112 Arguments:
113   isspool       TRUE for spool partition, FALSE for log partition
114   inodeptr      address of int to receive inode count; -1 if there isn't one
115
116 Returns:        available on-root space, in kilobytes
117                 -1 for log partition if there isn't one
118
119 All values are -1 if the STATFS functions are not available.
120 */
121
122 int
123 receive_statvfs(BOOL isspool, int *inodeptr)
124 {
125 #ifdef HAVE_STATFS
126 struct STATVFS statbuf;
127 uschar *path;
128 uschar *name;
129 uschar buffer[1024];
130
131 /* The spool directory must always exist. */
132
133 if (isspool)
134   {
135   path = spool_directory;
136   name = US"spool";
137   }
138
139 /* Need to cut down the log file path to the directory, and to ignore any
140 appearance of "syslog" in it. */
141
142 else
143   {
144   int sep = ':';              /* Not variable - outside scripts use */
145   uschar *p = log_file_path;
146   name = US"log";
147
148   /* An empty log_file_path means "use the default". This is the same as an
149   empty item in a list. */
150
151   if (*p == 0) p = US":";
152   while ((path = string_nextinlist(&p, &sep, buffer, sizeof(buffer))) != NULL)
153     {
154     if (Ustrcmp(path, "syslog") != 0) break;
155     }
156
157   if (path == NULL)  /* No log files */
158     {
159     *inodeptr = -1;
160     return -1;
161     }
162
163   /* An empty string means use the default, which is in the spool directory.
164   But don't just use the spool directory, as it is possible that the log
165   subdirectory has been symbolically linked elsewhere. */
166
167   if (path[0] == 0)
168     {
169     sprintf(CS buffer, CS"%s/log", CS spool_directory);
170     path = buffer;
171     }
172   else
173     {
174     uschar *cp;
175     if ((cp = Ustrrchr(path, '/')) != NULL) *cp = 0;
176     }
177   }
178
179 /* We now have the path; do the business */
180
181 memset(&statbuf, 0, sizeof(statbuf));
182
183 if (STATVFS(CS path, &statbuf) != 0)
184   {
185   log_write(0, LOG_MAIN|LOG_PANIC, "cannot accept message: failed to stat "
186     "%s directory %s: %s", name, spool_directory, strerror(errno));
187   smtp_closedown(US"spool or log directory problem");
188   exim_exit(EXIT_FAILURE);
189   }
190
191 *inodeptr = (statbuf.F_FILES > 0)? statbuf.F_FAVAIL : -1;
192
193 /* Disks are getting huge. Take care with computing the size in kilobytes. */
194
195 return (int)(((double)statbuf.F_BAVAIL * (double)statbuf.F_FRSIZE)/1024.0);
196
197 /* Unable to find partition sizes in this environment. */
198
199 #else
200 *inodeptr = -1;
201 return -1;
202 #endif
203 }
204
205
206
207
208 /*************************************************
209 *     Check space on spool and log partitions    *
210 *************************************************/
211
212 /* This function is called before accepting a message; if any thresholds are
213 set, it checks them. If a message_size is supplied, it checks that there is
214 enough space for that size plus the threshold - i.e. that the message won't
215 reduce the space to the threshold. Not all OS have statvfs(); for those that
216 don't, this function always returns TRUE. For some OS the old function and
217 struct name statfs is used; that is handled by a macro, defined in exim.h.
218
219 Arguments:
220   msg_size     the (estimated) size of an incoming message
221
222 Returns:       FALSE if there isn't enough space, or if the information cannot
223                  be obtained
224                TRUE if no check was done or there is enough space
225 */
226
227 BOOL
228 receive_check_fs(int msg_size)
229 {
230 int space, inodes;
231
232 if (check_spool_space > 0 || msg_size > 0 || check_spool_inodes > 0)
233   {
234   space = receive_statvfs(TRUE, &inodes);
235
236   DEBUG(D_receive)
237     debug_printf("spool directory space = %dK inodes = %d "
238       "check_space = %dK inodes = %d msg_size = %d\n",
239       space, inodes, check_spool_space, check_spool_inodes, msg_size);
240
241   if ((space >= 0 && space < check_spool_space) ||
242       (inodes >= 0 && inodes < check_spool_inodes))
243     {
244     log_write(0, LOG_MAIN, "spool directory space check failed: space=%d "
245       "inodes=%d", space, inodes);
246     return FALSE;
247     }
248   }
249
250 if (check_log_space > 0 || check_log_inodes > 0)
251   {
252   space = receive_statvfs(FALSE, &inodes);
253
254   DEBUG(D_receive)
255     debug_printf("log directory space = %dK inodes = %d "
256       "check_space = %dK inodes = %d\n",
257       space, inodes, check_log_space, check_log_inodes);
258
259   if ((space >= 0 && space < check_log_space) ||
260       (inodes >= 0 && inodes < check_log_inodes))
261     {
262     log_write(0, LOG_MAIN, "log directory space check failed: space=%d "
263       "inodes=%d", space, inodes);
264     return FALSE;
265     }
266   }
267
268 return TRUE;
269 }
270
271
272
273 /*************************************************
274 *         Bomb out while reading a message       *
275 *************************************************/
276
277 /* The common case of wanting to bomb out is if a SIGTERM or SIGINT is
278 received, or if there is a timeout. A rarer case might be if the log files are
279 screwed up and Exim can't open them to record a message's arrival. Handling
280 that case is done by setting a flag to cause the log functions to call this
281 function if there is an ultimate disaster. That is why it is globally
282 accessible.
283
284 Arguments:
285   reason     text reason to pass to the not-quit ACL
286   msg        default SMTP response to give if in an SMTP session
287 Returns:     it doesn't
288 */
289
290 void
291 receive_bomb_out(uschar *reason, uschar *msg)
292 {
293   static BOOL already_bombing_out;
294 /* The smtp_notquit_exit() below can call ACLs which can trigger recursive
295 timeouts, if someone has something slow in their quit ACL.  Since the only
296 things we should be doing are to close down cleanly ASAP, on the second
297 pass we also close down stuff that might be opened again, before bypassing
298 the ACL call and exiting. */
299
300 /* If spool_name is set, it contains the name of the data file that is being
301 written. Unlink it before closing so that it cannot be picked up by a delivery
302 process. Ensure that any header file is also removed. */
303
304 if (spool_name[0] != '\0')
305   {
306   Uunlink(spool_name);
307   spool_name[Ustrlen(spool_name) - 1] = 'H';
308   Uunlink(spool_name);
309   spool_name[0] = '\0';
310   }
311
312 /* Now close the file if it is open, either as a fd or a stream. */
313
314 if (data_file != NULL)
315   {
316   (void)fclose(data_file);
317   data_file = NULL;
318 } else if (data_fd >= 0) {
319   (void)close(data_fd);
320   data_fd = -1;
321   }
322
323 /* Attempt to close down an SMTP connection tidily. For non-batched SMTP, call
324 smtp_notquit_exit(), which runs the NOTQUIT ACL, if present, and handles the
325 SMTP response. */
326
327 if (!already_bombing_out)
328   {
329   already_bombing_out = TRUE;
330   if (smtp_input)
331     {
332     if (smtp_batched_input)
333       moan_smtp_batch(NULL, "421 %s - message abandoned", msg);  /* No return */
334     smtp_notquit_exit(reason, US"421", US"%s %s - closing connection.",
335       smtp_active_hostname, msg);
336     }
337   }
338
339 /* Exit from the program (non-BSMTP cases) */
340
341 exim_exit(EXIT_FAILURE);
342 }
343
344
345 /*************************************************
346 *              Data read timeout                 *
347 *************************************************/
348
349 /* Handler function for timeouts that occur while reading the data that
350 comprises a message.
351
352 Argument:  the signal number
353 Returns:   nothing
354 */
355
356 static void
357 data_timeout_handler(int sig)
358 {
359 uschar *msg = NULL;
360
361 sig = sig;    /* Keep picky compilers happy */
362
363 if (smtp_input)
364   {
365   msg = US"SMTP incoming data timeout";
366   log_write(L_lost_incoming_connection,
367             LOG_MAIN, "SMTP data timeout (message abandoned) on connection "
368             "from %s F=<%s>",
369             (sender_fullhost != NULL)? sender_fullhost : US"local process",
370             sender_address);
371   }
372 else
373   {
374   fprintf(stderr, "exim: timed out while reading - message abandoned\n");
375   log_write(L_lost_incoming_connection,
376             LOG_MAIN, "timed out while reading local message");
377   }
378
379 receive_bomb_out(US"data-timeout", msg);   /* Does not return */
380 }
381
382
383
384 /*************************************************
385 *              local_scan() timeout              *
386 *************************************************/
387
388 /* Handler function for timeouts that occur while running a local_scan()
389 function.
390
391 Argument:  the signal number
392 Returns:   nothing
393 */
394
395 static void
396 local_scan_timeout_handler(int sig)
397 {
398 sig = sig;    /* Keep picky compilers happy */
399 log_write(0, LOG_MAIN|LOG_REJECT, "local_scan() function timed out - "
400   "message temporarily rejected (size %d)", message_size);
401 /* Does not return */
402 receive_bomb_out(US"local-scan-timeout", US"local verification problem");
403 }
404
405
406
407 /*************************************************
408 *            local_scan() crashed                *
409 *************************************************/
410
411 /* Handler function for signals that occur while running a local_scan()
412 function.
413
414 Argument:  the signal number
415 Returns:   nothing
416 */
417
418 static void
419 local_scan_crash_handler(int sig)
420 {
421 log_write(0, LOG_MAIN|LOG_REJECT, "local_scan() function crashed with "
422   "signal %d - message temporarily rejected (size %d)", sig, message_size);
423 /* Does not return */
424 receive_bomb_out(US"local-scan-error", US"local verification problem");
425 }
426
427
428 /*************************************************
429 *           SIGTERM or SIGINT received           *
430 *************************************************/
431
432 /* Handler for SIGTERM or SIGINT signals that occur while reading the
433 data that comprises a message.
434
435 Argument:  the signal number
436 Returns:   nothing
437 */
438
439 static void
440 data_sigterm_sigint_handler(int sig)
441 {
442 uschar *msg = NULL;
443
444 if (smtp_input)
445   {
446   msg = US"Service not available - SIGTERM or SIGINT received";
447   log_write(0, LOG_MAIN, "%s closed after %s", smtp_get_connection_info(),
448     (sig == SIGTERM)? "SIGTERM" : "SIGINT");
449   }
450 else
451   {
452   if (filter_test == FTEST_NONE)
453     {
454     fprintf(stderr, "\nexim: %s received - message abandoned\n",
455       (sig == SIGTERM)? "SIGTERM" : "SIGINT");
456     log_write(0, LOG_MAIN, "%s received while reading local message",
457       (sig == SIGTERM)? "SIGTERM" : "SIGINT");
458     }
459   }
460
461 receive_bomb_out(US"signal-exit", msg);    /* Does not return */
462 }
463
464
465
466 /*************************************************
467 *          Add new recipient to list             *
468 *************************************************/
469
470 /* This function builds a list of recipient addresses in argc/argv
471 format.
472
473 Arguments:
474   recipient   the next address to add to recipients_list
475   pno         parent number for fixed aliases; -1 otherwise
476
477 Returns:      nothing
478 */
479
480 void
481 receive_add_recipient(uschar *recipient, int pno)
482 {
483 if (recipients_count >= recipients_list_max)
484   {
485   recipient_item *oldlist = recipients_list;
486   int oldmax = recipients_list_max;
487   recipients_list_max = recipients_list_max? 2*recipients_list_max : 50;
488   recipients_list = store_get(recipients_list_max * sizeof(recipient_item));
489   if (oldlist != NULL)
490     memcpy(recipients_list, oldlist, oldmax * sizeof(recipient_item));
491   }
492
493 recipients_list[recipients_count].address = recipient;
494 recipients_list[recipients_count].pno = pno;
495 #ifdef EXPERIMENTAL_BRIGHTMAIL
496 recipients_list[recipients_count].bmi_optin = bmi_current_optin;
497 /* reset optin string pointer for next recipient */
498 bmi_current_optin = NULL;
499 #endif
500 recipients_list[recipients_count].orcpt = NULL;
501 recipients_list[recipients_count].dsn_flags = 0;
502 recipients_list[recipients_count++].errors_to = NULL;
503 }
504
505
506
507
508 /*************************************************
509 *        Send user response message              *
510 *************************************************/
511
512 /* This function is passed a default response code and a user message. It calls
513 smtp_message_code() to check and possibly modify the response code, and then
514 calls smtp_respond() to transmit the response. I put this into a function
515 just to avoid a lot of repetition.
516
517 Arguments:
518   code         the response code
519   user_msg     the user message
520
521 Returns:       nothing
522 */
523
524 #ifndef DISABLE_PRDR
525 static void
526 smtp_user_msg(uschar *code, uschar *user_msg)
527 {
528 int len = 3;
529 smtp_message_code(&code, &len, &user_msg, NULL);
530 smtp_respond(code, len, TRUE, user_msg);
531 }
532 #endif
533
534
535
536
537
538 /*************************************************
539 *        Remove a recipient from the list        *
540 *************************************************/
541
542 /* This function is provided for local_scan() to use.
543
544 Argument:
545   recipient   address to remove
546
547 Returns:      TRUE if it did remove something; FALSE otherwise
548 */
549
550 BOOL
551 receive_remove_recipient(uschar *recipient)
552 {
553 int count;
554 DEBUG(D_receive) debug_printf("receive_remove_recipient(\"%s\") called\n",
555   recipient);
556 for (count = 0; count < recipients_count; count++)
557   {
558   if (Ustrcmp(recipients_list[count].address, recipient) == 0)
559     {
560     if ((--recipients_count - count) > 0)
561       memmove(recipients_list + count, recipients_list + count + 1,
562         (recipients_count - count)*sizeof(recipient_item));
563     return TRUE;
564     }
565   }
566 return FALSE;
567 }
568
569
570
571
572
573 /*************************************************
574 *     Read data portion of a non-SMTP message    *
575 *************************************************/
576
577 /* This function is called to read the remainder of a message (following the
578 header) when the input is not from SMTP - we are receiving a local message on
579 a standard input stream. The message is always terminated by EOF, and is also
580 terminated by a dot on a line by itself if the flag dot_ends is TRUE. Split the
581 two cases for maximum efficiency.
582
583 Ensure that the body ends with a newline. This will naturally be the case when
584 the termination is "\n.\n" but may not be otherwise. The RFC defines messages
585 as "sequences of lines" - this of course strictly applies only to SMTP, but
586 deliveries into BSD-type mailbox files also require it. Exim used to have a
587 flag for doing this at delivery time, but as it was always set for all
588 transports, I decided to simplify things by putting the check here instead.
589
590 There is at least one MUA (dtmail) that sends CRLF via this interface, and
591 other programs are known to do this as well. Exim used to have a option for
592 dealing with this: in July 2003, after much discussion, the code has been
593 changed to default to treat any of LF, CRLF, and bare CR as line terminators.
594
595 However, for the case when a dot on a line by itself terminates a message, the
596 only recognized terminating sequences before and after the dot are LF and CRLF.
597 Otherwise, having read EOL . CR, you don't know whether to read another
598 character or not.
599
600 Internally, in messages stored in Exim's spool files, LF is used as the line
601 terminator. Under the new regime, bare CRs will no longer appear in these
602 files.
603
604 Arguments:
605   fout      a FILE to which to write the message
606
607 Returns:    One of the END_xxx values indicating why it stopped reading
608 */
609
610 static int
611 read_message_data(FILE *fout)
612 {
613 int ch_state;
614 register int ch;
615 register int linelength = 0;
616
617 /* Handle the case when only EOF terminates the message */
618
619 if (!dot_ends)
620   {
621   register int last_ch = '\n';
622
623   for (; (ch = (receive_getc)()) != EOF; last_ch = ch)
624     {
625     if (ch == 0) body_zerocount++;
626     if (last_ch == '\r' && ch != '\n')
627       {
628       if (linelength > max_received_linelength)
629         max_received_linelength = linelength;
630       linelength = 0;
631       if (fputc('\n', fout) == EOF) return END_WERROR;
632       message_size++;
633       body_linecount++;
634       }
635     if (ch == '\r') continue;
636
637     if (fputc(ch, fout) == EOF) return END_WERROR;
638     if (ch == '\n')
639       {
640       if (linelength > max_received_linelength)
641         max_received_linelength = linelength;
642       linelength = 0;
643       body_linecount++;
644       }
645     else linelength++;
646     if (++message_size > thismessage_size_limit) return END_SIZE;
647     }
648
649   if (last_ch != '\n')
650     {
651     if (linelength > max_received_linelength)
652       max_received_linelength = linelength;
653     if (fputc('\n', fout) == EOF) return END_WERROR;
654     message_size++;
655     body_linecount++;
656     }
657
658   return END_EOF;
659   }
660
661 /* Handle the case when a dot on a line on its own, or EOF, terminates. */
662
663 ch_state = 1;
664
665 while ((ch = (receive_getc)()) != EOF)
666   {
667   if (ch == 0) body_zerocount++;
668   switch (ch_state)
669     {
670     case 0:                         /* Normal state (previous char written) */
671     if (ch == '\n')
672       {
673       body_linecount++;
674       if (linelength > max_received_linelength)
675         max_received_linelength = linelength;
676       linelength = -1;
677       ch_state = 1;
678       }
679     else if (ch == '\r')
680       { ch_state = 2; continue; }
681     break;
682
683     case 1:                         /* After written "\n" */
684     if (ch == '.') { ch_state = 3; continue; }
685     if (ch == '\r') { ch_state = 2; continue; }
686     if (ch != '\n') ch_state = 0; else linelength = -1;
687     break;
688
689     case 2:
690     body_linecount++;               /* After unwritten "\r" */
691     if (linelength > max_received_linelength)
692       max_received_linelength = linelength;
693     if (ch == '\n')
694       {
695       ch_state = 1;
696       linelength = -1;
697       }
698     else
699       {
700       if (message_size++, fputc('\n', fout) == EOF) return END_WERROR;
701       if (ch == '\r') continue;
702       ch_state = 0;
703       linelength = 0;
704       }
705     break;
706
707     case 3:                         /* After "\n." (\n written, dot not) */
708     if (ch == '\n') return END_DOT;
709     if (ch == '\r') { ch_state = 4; continue; }
710     message_size++;
711     linelength++;
712     if (fputc('.', fout) == EOF) return END_WERROR;
713     ch_state = 0;
714     break;
715
716     case 4:                         /* After "\n.\r" (\n written, rest not) */
717     if (ch == '\n') return END_DOT;
718     message_size += 2;
719     body_linecount++;
720     if (fputs(".\n", fout) == EOF) return END_WERROR;
721     if (ch == '\r') { ch_state = 2; continue; }
722     ch_state = 0;
723     break;
724     }
725
726   linelength++;
727   if (fputc(ch, fout) == EOF) return END_WERROR;
728   if (++message_size > thismessage_size_limit) return END_SIZE;
729   }
730
731 /* Get here if EOF read. Unless we have just written "\n", we need to ensure
732 the message ends with a newline, and we must also write any characters that
733 were saved up while testing for an ending dot. */
734
735 if (ch_state != 1)
736   {
737   static uschar *ends[] = { US"\n", NULL, US"\n", US".\n", US".\n" };
738   if (fputs(CS ends[ch_state], fout) == EOF) return END_WERROR;
739   message_size += Ustrlen(ends[ch_state]);
740   body_linecount++;
741   }
742
743 return END_EOF;
744 }
745
746
747
748
749 /*************************************************
750 *      Read data portion of an SMTP message      *
751 *************************************************/
752
753 /* This function is called to read the remainder of an SMTP message (after the
754 headers), or to skip over it when an error has occurred. In this case, the
755 output file is passed as NULL.
756
757 If any line begins with a dot, that character is skipped. The input should only
758 be successfully terminated by CR LF . CR LF unless it is local (non-network)
759 SMTP, in which case the CRs are optional, but...
760
761 FUDGE: It seems that sites on the net send out messages with just LF
762 terminators, despite the warnings in the RFCs, and other MTAs handle this. So
763 we make the CRs optional in all cases.
764
765 July 2003: Bare CRs cause trouble. We now treat them as line terminators as
766 well, so that there are no CRs in spooled messages. However, the message
767 terminating dot is not recognized between two bare CRs.
768
769 Arguments:
770   fout      a FILE to which to write the message; NULL if skipping
771
772 Returns:    One of the END_xxx values indicating why it stopped reading
773 */
774
775 static int
776 read_message_data_smtp(FILE *fout)
777 {
778 int ch_state = 0;
779 int ch;
780 register int linelength = 0;
781
782 while ((ch = (receive_getc)()) != EOF)
783   {
784   if (ch == 0) body_zerocount++;
785   switch (ch_state)
786     {
787     case 0:                             /* After LF or CRLF */
788     if (ch == '.')
789       {
790       ch_state = 3;
791       continue;                         /* Don't ever write . after LF */
792       }
793     ch_state = 1;
794
795     /* Else fall through to handle as normal uschar. */
796
797     case 1:                             /* Normal state */
798     if (ch == '\n')
799       {
800       ch_state = 0;
801       body_linecount++;
802       if (linelength > max_received_linelength)
803         max_received_linelength = linelength;
804       linelength = -1;
805       }
806     else if (ch == '\r')
807       {
808       ch_state = 2;
809       continue;
810       }
811     break;
812
813     case 2:                             /* After (unwritten) CR */
814     body_linecount++;
815     if (linelength > max_received_linelength)
816       max_received_linelength = linelength;
817     linelength = -1;
818     if (ch == '\n')
819       {
820       ch_state = 0;
821       }
822     else
823       {
824       message_size++;
825       if (fout != NULL && fputc('\n', fout) == EOF) return END_WERROR;
826       (void) cutthrough_put_nl();
827       if (ch != '\r') ch_state = 1; else continue;
828       }
829     break;
830
831     case 3:                             /* After [CR] LF . */
832     if (ch == '\n')
833       return END_DOT;
834     if (ch == '\r')
835       {
836       ch_state = 4;
837       continue;
838       }
839     ch_state = 1;                       /* The dot itself is removed */
840     break;
841
842     case 4:                             /* After [CR] LF . CR */
843     if (ch == '\n') return END_DOT;
844     message_size++;
845     body_linecount++;
846     if (fout != NULL && fputc('\n', fout) == EOF) return END_WERROR;
847     (void) cutthrough_put_nl();
848     if (ch == '\r')
849       {
850       ch_state = 2;
851       continue;
852       }
853     ch_state = 1;
854     break;
855     }
856
857   /* Add the character to the spool file, unless skipping; then loop for the
858   next. */
859
860   message_size++;
861   linelength++;
862   if (fout != NULL)
863     {
864     if (fputc(ch, fout) == EOF) return END_WERROR;
865     if (message_size > thismessage_size_limit) return END_SIZE;
866     }
867   if(ch == '\n')
868     (void) cutthrough_put_nl();
869   else
870     {
871     uschar c= ch;
872     (void) cutthrough_puts(&c, 1);
873     }
874   }
875
876 /* Fall through here if EOF encountered. This indicates some kind of error,
877 since a correct message is terminated by [CR] LF . [CR] LF. */
878
879 return END_EOF;
880 }
881
882
883
884
885 /*************************************************
886 *             Swallow SMTP message               *
887 *************************************************/
888
889 /* This function is called when there has been some kind of error while reading
890 an SMTP message, and the remaining data may need to be swallowed. It is global
891 because it is called from smtp_closedown() to shut down an incoming call
892 tidily.
893
894 Argument:    a FILE from which to read the message
895 Returns:     nothing
896 */
897
898 void
899 receive_swallow_smtp(void)
900 {
901 if (message_ended >= END_NOTENDED)
902   message_ended = read_message_data_smtp(NULL);
903 }
904
905
906
907 /*************************************************
908 *           Handle lost SMTP connection          *
909 *************************************************/
910
911 /* This function logs connection loss incidents and generates an appropriate
912 SMTP response.
913
914 Argument:  additional data for the message
915 Returns:   the SMTP response
916 */
917
918 static uschar *
919 handle_lost_connection(uschar *s)
920 {
921 log_write(L_lost_incoming_connection | L_smtp_connection, LOG_MAIN,
922   "%s lost while reading message data%s", smtp_get_connection_info(), s);
923 return US"421 Lost incoming connection";
924 }
925
926
927
928
929 /*************************************************
930 *         Handle a non-smtp reception error      *
931 *************************************************/
932
933 /* This function is called for various errors during the reception of non-SMTP
934 messages. It either sends a message to the sender of the problem message, or it
935 writes to the standard error stream.
936
937 Arguments:
938   errcode     code for moan_to_sender(), identifying the error
939   text1       first message text, passed to moan_to_sender()
940   text2       second message text, used only for stderrr
941   error_rc    code to pass to exim_exit if no problem
942   f           FILE containing body of message (may be stdin)
943   hptr        pointer to instore headers or NULL
944
945 Returns:      calls exim_exit(), which does not return
946 */
947
948 static void
949 give_local_error(int errcode, uschar *text1, uschar *text2, int error_rc,
950   FILE *f, header_line *hptr)
951 {
952 if (error_handling == ERRORS_SENDER)
953   {
954   error_block eblock;
955   eblock.next = NULL;
956   eblock.text1 = text1;
957   if (!moan_to_sender(errcode, &eblock, hptr, f, FALSE))
958     error_rc = EXIT_FAILURE;
959   }
960 else fprintf(stderr, "exim: %s%s\n", text2, text1);  /* Sic */
961 (void)fclose(f);
962 exim_exit(error_rc);
963 }
964
965
966
967 /*************************************************
968 *          Add header lines set up by ACL        *
969 *************************************************/
970
971 /* This function is called to add the header lines that were set up by
972 statements in an ACL to the list of headers in memory. It is done in two stages
973 like this, because when the ACL for RCPT is running, the other headers have not
974 yet been received. This function is called twice; once just before running the
975 DATA ACL, and once after. This is so that header lines added by MAIL or RCPT
976 are visible to the DATA ACL.
977
978 Originally these header lines were added at the end. Now there is support for
979 three different places: top, bottom, and after the Received: header(s). There
980 will always be at least one Received: header, even if it is marked deleted, and
981 even if something else has been put in front of it.
982
983 Arguments:
984   acl_name   text to identify which ACL
985
986 Returns:     nothing
987 */
988
989 static void
990 add_acl_headers(int where, uschar *acl_name)
991 {
992 header_line *h, *next;
993 header_line *last_received = NULL;
994
995 switch(where)
996   {
997   case ACL_WHERE_DKIM:
998   case ACL_WHERE_MIME:
999   case ACL_WHERE_DATA:
1000     if (cutthrough.fd >= 0 && (acl_removed_headers || acl_added_headers))
1001     {
1002     log_write(0, LOG_MAIN|LOG_PANIC, "Header modification in data ACLs"
1003                         " will not take effect on cutthrough deliveries");
1004     return;
1005     }
1006   }
1007
1008 if (acl_removed_headers != NULL)
1009   {
1010   DEBUG(D_receive|D_acl) debug_printf(">>Headers removed by %s ACL:\n", acl_name);
1011
1012   for (h = header_list; h != NULL; h = h->next) if (h->type != htype_old)
1013     {
1014     uschar * list = acl_removed_headers;
1015     int sep = ':';         /* This is specified as a colon-separated list */
1016     uschar *s;
1017     uschar buffer[128];
1018
1019     while ((s = string_nextinlist(&list, &sep, buffer, sizeof(buffer))))
1020       if (header_testname(h, s, Ustrlen(s), FALSE))
1021         {
1022         h->type = htype_old;
1023         DEBUG(D_receive|D_acl) debug_printf("  %s", h->text);
1024         }
1025     }
1026   acl_removed_headers = NULL;
1027   DEBUG(D_receive|D_acl) debug_printf(">>\n");
1028   }
1029
1030 if (acl_added_headers == NULL) return;
1031 DEBUG(D_receive|D_acl) debug_printf(">>Headers added by %s ACL:\n", acl_name);
1032
1033 for (h = acl_added_headers; h != NULL; h = next)
1034   {
1035   next = h->next;
1036
1037   switch(h->type)
1038     {
1039     case htype_add_top:
1040     h->next = header_list;
1041     header_list = h;
1042     DEBUG(D_receive|D_acl) debug_printf("  (at top)");
1043     break;
1044
1045     case htype_add_rec:
1046     if (last_received == NULL)
1047       {
1048       last_received = header_list;
1049       while (!header_testname(last_received, US"Received", 8, FALSE))
1050         last_received = last_received->next;
1051       while (last_received->next != NULL &&
1052              header_testname(last_received->next, US"Received", 8, FALSE))
1053         last_received = last_received->next;
1054       }
1055     h->next = last_received->next;
1056     last_received->next = h;
1057     DEBUG(D_receive|D_acl) debug_printf("  (after Received:)");
1058     break;
1059
1060     case htype_add_rfc:
1061     /* add header before any header which is NOT Received: or Resent- */
1062     last_received = header_list;
1063     while ( (last_received->next != NULL) &&
1064             ( (header_testname(last_received->next, US"Received", 8, FALSE)) ||
1065               (header_testname_incomplete(last_received->next, US"Resent-", 7, FALSE)) ) )
1066               last_received = last_received->next;
1067     /* last_received now points to the last Received: or Resent-* header
1068        in an uninterrupted chain of those header types (seen from the beginning
1069        of all headers. Our current header must follow it. */
1070     h->next = last_received->next;
1071     last_received->next = h;
1072     DEBUG(D_receive|D_acl) debug_printf("  (before any non-Received: or Resent-*: header)");
1073     break;
1074
1075     default:
1076     h->next = NULL;
1077     header_last->next = h;
1078     break;
1079     }
1080
1081   if (h->next == NULL) header_last = h;
1082
1083   /* Check for one of the known header types (From:, To:, etc.) though in
1084   practice most added headers are going to be "other". Lower case
1085   identification letters are never stored with the header; they are used
1086   for existence tests when messages are received. So discard any lower case
1087   flag values. */
1088
1089   h->type = header_checkname(h, FALSE);
1090   if (h->type >= 'a') h->type = htype_other;
1091
1092   DEBUG(D_receive|D_acl) debug_printf("  %s", header_last->text);
1093   }
1094
1095 acl_added_headers = NULL;
1096 DEBUG(D_receive|D_acl) debug_printf(">>\n");
1097 }
1098
1099
1100
1101 /*************************************************
1102 *       Add host information for log line        *
1103 *************************************************/
1104
1105 /* Called for acceptance and rejecting log lines. This adds information about
1106 the calling host to a string that is being built dynamically.
1107
1108 Arguments:
1109   s           the dynamic string
1110   sizeptr     points to the size variable
1111   ptrptr      points to the pointer variable
1112
1113 Returns:      the extended string
1114 */
1115
1116 static uschar *
1117 add_host_info_for_log(uschar *s, int *sizeptr, int *ptrptr)
1118 {
1119 if (sender_fullhost != NULL)
1120   {
1121   s = string_append(s, sizeptr, ptrptr, 2, US" H=", sender_fullhost);
1122   if ((log_extra_selector & LX_incoming_interface) != 0 &&
1123        interface_address != NULL)
1124     {
1125     uschar *ss = string_sprintf(" I=[%s]:%d", interface_address,
1126       interface_port);
1127     s = string_cat(s, sizeptr, ptrptr, ss, Ustrlen(ss));
1128     }
1129   }
1130 if (sender_ident != NULL)
1131   s = string_append(s, sizeptr, ptrptr, 2, US" U=", sender_ident);
1132 if (received_protocol != NULL)
1133   s = string_append(s, sizeptr, ptrptr, 2, US" P=", received_protocol);
1134 return s;
1135 }
1136
1137
1138
1139 #ifdef WITH_CONTENT_SCAN
1140
1141 /*************************************************
1142 *       Run the MIME ACL on a message            *
1143 *************************************************/
1144
1145 /* This code is in a subroutine so that it can be used for both SMTP
1146 and non-SMTP messages. It is called with a non-NULL ACL pointer.
1147
1148 Arguments:
1149   acl                The ACL to run (acl_smtp_mime or acl_not_smtp_mime)
1150   smtp_yield_ptr     Set FALSE to kill messages after dropped connection
1151   smtp_reply_ptr     Where SMTP reply is being built
1152   blackholed_by_ptr  Where "blackholed by" message is being built
1153
1154 Returns:             TRUE to carry on; FALSE to abandon the message
1155 */
1156
1157 static BOOL
1158 run_mime_acl(uschar *acl, BOOL *smtp_yield_ptr, uschar **smtp_reply_ptr,
1159   uschar **blackholed_by_ptr)
1160 {
1161 FILE *mbox_file;
1162 uschar rfc822_file_path[2048];
1163 unsigned long mbox_size;
1164 header_line *my_headerlist;
1165 uschar *user_msg, *log_msg;
1166 int mime_part_count_buffer = -1;
1167 int rc = OK;
1168
1169 memset(CS rfc822_file_path,0,2048);
1170
1171 /* check if it is a MIME message */
1172 my_headerlist = header_list;
1173 while (my_headerlist != NULL)
1174   {
1175   /* skip deleted headers */
1176   if (my_headerlist->type == '*')
1177     {
1178     my_headerlist = my_headerlist->next;
1179     continue;
1180     }
1181   if (strncmpic(my_headerlist->text, US"Content-Type:", 13) == 0)
1182     {
1183     DEBUG(D_receive) debug_printf("Found Content-Type: header - executing acl_smtp_mime.\n");
1184     goto DO_MIME_ACL;
1185     }
1186   my_headerlist = my_headerlist->next;
1187   }
1188
1189 DEBUG(D_receive) debug_printf("No Content-Type: header - presumably not a MIME message.\n");
1190 return TRUE;
1191
1192 DO_MIME_ACL:
1193 /* make sure the eml mbox file is spooled up */
1194 mbox_file = spool_mbox(&mbox_size, NULL);
1195 if (mbox_file == NULL) {
1196   /* error while spooling */
1197   log_write(0, LOG_MAIN|LOG_PANIC,
1198          "acl_smtp_mime: error while creating mbox spool file, message temporarily rejected.");
1199   Uunlink(spool_name);
1200   unspool_mbox();
1201 #ifdef EXPERIMENTAL_DCC
1202   dcc_ok = 0;
1203 #endif
1204   smtp_respond(US"451", 3, TRUE, US"temporary local problem");
1205   message_id[0] = 0;            /* Indicate no message accepted */
1206   *smtp_reply_ptr = US"";       /* Indicate reply already sent */
1207   return FALSE;                 /* Indicate skip to end of receive function */
1208 };
1209
1210 mime_is_rfc822 = 0;
1211
1212 MIME_ACL_CHECK:
1213 mime_part_count = -1;
1214 rc = mime_acl_check(acl, mbox_file, NULL, &user_msg, &log_msg);
1215 (void)fclose(mbox_file);
1216
1217 if (Ustrlen(rfc822_file_path) > 0)
1218   {
1219   mime_part_count = mime_part_count_buffer;
1220
1221   if (unlink(CS rfc822_file_path) == -1)
1222     {
1223     log_write(0, LOG_PANIC,
1224          "acl_smtp_mime: can't unlink RFC822 spool file, skipping.");
1225       goto END_MIME_ACL;
1226     }
1227   }
1228
1229 /* check if we must check any message/rfc822 attachments */
1230 if (rc == OK)
1231   {
1232   uschar temp_path[1024];
1233   struct dirent * entry;
1234   DIR * tempdir;
1235
1236   (void) string_format(temp_path, sizeof(temp_path), "%s/scan/%s",
1237     spool_directory, message_id);
1238
1239   tempdir = opendir(CS temp_path);
1240   for (;;)
1241     {
1242     if (!(entry = readdir(tempdir)))
1243       break;
1244     if (strncmpic(US entry->d_name, US"__rfc822_", 9) == 0)
1245       {
1246       (void) string_format(rfc822_file_path, sizeof(rfc822_file_path),
1247         "%s/scan/%s/%s", spool_directory, message_id, entry->d_name);
1248       debug_printf("RFC822 attachment detected: running MIME ACL for '%s'\n",
1249         rfc822_file_path);
1250       break;
1251       }
1252     }
1253   closedir(tempdir);
1254
1255   if (entry)
1256     {
1257     if ((mbox_file = Ufopen(rfc822_file_path, "rb")))
1258       {
1259       /* set RFC822 expansion variable */
1260       mime_is_rfc822 = 1;
1261       mime_part_count_buffer = mime_part_count;
1262       goto MIME_ACL_CHECK;
1263       }
1264     log_write(0, LOG_PANIC,
1265        "acl_smtp_mime: can't open RFC822 spool file, skipping.");
1266     unlink(CS rfc822_file_path);
1267     }
1268   }
1269
1270 END_MIME_ACL:
1271 add_acl_headers(ACL_WHERE_MIME, US"MIME");
1272 if (rc == DISCARD)
1273   {
1274   recipients_count = 0;
1275   *blackholed_by_ptr = US"MIME ACL";
1276   }
1277 else if (rc != OK)
1278   {
1279   Uunlink(spool_name);
1280   unspool_mbox();
1281 #ifdef EXPERIMENTAL_DCC
1282   dcc_ok = 0;
1283 #endif
1284   if (smtp_input && smtp_handle_acl_fail(ACL_WHERE_MIME, rc, user_msg, log_msg) != 0) {
1285     *smtp_yield_ptr = FALSE;    /* No more messsages after dropped connection */
1286     *smtp_reply_ptr = US"";     /* Indicate reply already sent */
1287   }
1288   message_id[0] = 0;            /* Indicate no message accepted */
1289   return FALSE;                 /* Cause skip to end of receive function */
1290   }
1291
1292 return TRUE;
1293 }
1294
1295 #endif  /* WITH_CONTENT_SCAN */
1296
1297
1298
1299 void
1300 received_header_gen(void)
1301 {
1302 uschar *received;
1303 uschar *timestamp;
1304 header_line *received_header= header_list;
1305
1306 timestamp = expand_string(US"${tod_full}");
1307 if (recipients_count == 1) received_for = recipients_list[0].address;
1308 received = expand_string(received_header_text);
1309 received_for = NULL;
1310
1311 if (received == NULL)
1312   {
1313   if(spool_name[0] != 0)
1314     Uunlink(spool_name);           /* Lose the data file */
1315   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
1316     "(received_header_text) failed: %s", string_printing(received_header_text),
1317       expand_string_message);
1318   }
1319
1320 /* The first element on the header chain is reserved for the Received header,
1321 so all we have to do is fill in the text pointer, and set the type. However, if
1322 the result of the expansion is an empty string, we leave the header marked as
1323 "old" so as to refrain from adding a Received header. */
1324
1325 if (received[0] == 0)
1326   {
1327   received_header->text = string_sprintf("Received: ; %s\n", timestamp);
1328   received_header->type = htype_old;
1329   }
1330 else
1331   {
1332   received_header->text = string_sprintf("%s; %s\n", received, timestamp);
1333   received_header->type = htype_received;
1334   }
1335
1336 received_header->slen = Ustrlen(received_header->text);
1337
1338 DEBUG(D_receive) debug_printf(">>Generated Received: header line\n%c %s",
1339   received_header->type, received_header->text);
1340 }
1341
1342
1343
1344 /*************************************************
1345 *                 Receive message                *
1346 *************************************************/
1347
1348 /* Receive a message on the given input, and put it into a pair of spool files.
1349 Either a non-null list of recipients, or the extract flag will be true, or
1350 both. The flag sender_local is true for locally generated messages. The flag
1351 submission_mode is true if an ACL has obeyed "control = submission". The flag
1352 suppress_local_fixups is true if an ACL has obeyed "control =
1353 suppress_local_fixups" or -G was passed on the command-line.
1354 The flag smtp_input is true if the message is to be
1355 handled using SMTP conventions about termination and lines starting with dots.
1356 For non-SMTP messages, dot_ends is true for dot-terminated messages.
1357
1358 If a message was successfully read, message_id[0] will be non-zero.
1359
1360 The general actions of this function are:
1361
1362   . Read the headers of the message (if any) into a chain of store
1363     blocks.
1364
1365   . If there is a "sender:" header and the message is locally originated,
1366     throw it away, unless the caller is trusted, or unless
1367     active_local_sender_retain is set - which can only happen if
1368     active_local_from_check is false.
1369
1370   . If recipients are to be extracted from the message, build the
1371     recipients list from the headers, removing any that were on the
1372     original recipients list (unless extract_addresses_remove_arguments is
1373     false), and at the same time, remove any bcc header that may be present.
1374
1375   . Get the spool file for the data, sort out its unique name, open
1376     and lock it (but don't give it the name yet).
1377
1378   . Generate a "Message-Id" header if the message doesn't have one, for
1379     locally-originated messages.
1380
1381   . Generate a "Received" header.
1382
1383   . Ensure the recipients list is fully qualified and rewritten if necessary.
1384
1385   . If there are any rewriting rules, apply them to the sender address
1386     and also to the headers.
1387
1388   . If there is no from: header, generate one, for locally-generated messages
1389     and messages in "submission mode" only.
1390
1391   . If the sender is local, check that from: is correct, and if not, generate
1392     a Sender: header, unless message comes from a trusted caller, or this
1393     feature is disabled by active_local_from_check being false.
1394
1395   . If there is no "date" header, generate one, for locally-originated
1396     or submission mode messages only.
1397
1398   . Copy the rest of the input, or up to a terminating "." if in SMTP or
1399     dot_ends mode, to the data file. Leave it open, to hold the lock.
1400
1401   . Write the envelope and the headers to a new file.
1402
1403   . Set the name for the header file; close it.
1404
1405   . Set the name for the data file; close it.
1406
1407 Because this function can potentially be called many times in a single
1408 SMTP connection, all store should be got by store_get(), so that it will be
1409 automatically retrieved after the message is accepted.
1410
1411 FUDGE: It seems that sites on the net send out messages with just LF
1412 terminators, despite the warnings in the RFCs, and other MTAs handle this. So
1413 we make the CRs optional in all cases.
1414
1415 July 2003: Bare CRs in messages, especially in header lines, cause trouble. A
1416 new regime is now in place in which bare CRs in header lines are turned into LF
1417 followed by a space, so as not to terminate the header line.
1418
1419 February 2004: A bare LF in a header line in a message whose first line was
1420 terminated by CRLF is treated in the same way as a bare CR.
1421
1422 Arguments:
1423   extract_recip  TRUE if recipients are to be extracted from the message's
1424                    headers
1425
1426 Returns:  TRUE   there are more messages to be read (SMTP input)
1427           FALSE  there are no more messages to be read (non-SMTP input
1428                  or SMTP connection collapsed, or other failure)
1429
1430 When reading a message for filter testing, the returned value indicates
1431 whether the headers (which is all that is read) were terminated by '.' or
1432 not. */
1433
1434 BOOL
1435 receive_msg(BOOL extract_recip)
1436 {
1437 int  i;
1438 int  rc = FAIL;
1439 int  msg_size = 0;
1440 int  process_info_len = Ustrlen(process_info);
1441 int  error_rc = (error_handling == ERRORS_SENDER)?
1442        errors_sender_rc : EXIT_FAILURE;
1443 int  header_size = 256;
1444 int  start, end, domain, size, sptr;
1445 int  id_resolution;
1446 int  had_zero = 0;
1447 int  prevlines_length = 0;
1448
1449 register int ptr = 0;
1450
1451 BOOL contains_resent_headers = FALSE;
1452 BOOL extracted_ignored = FALSE;
1453 BOOL first_line_ended_crlf = TRUE_UNSET;
1454 BOOL smtp_yield = TRUE;
1455 BOOL yield = FALSE;
1456
1457 BOOL resents_exist = FALSE;
1458 uschar *resent_prefix = US"";
1459 uschar *blackholed_by = NULL;
1460 uschar *blackhole_log_msg = US"";
1461 enum {NOT_TRIED, TMP_REJ, PERM_REJ, ACCEPTED} cutthrough_done = NOT_TRIED;
1462
1463 flock_t lock_data;
1464 error_block *bad_addresses = NULL;
1465
1466 uschar *frozen_by = NULL;
1467 uschar *queued_by = NULL;
1468
1469 uschar *errmsg, *s;
1470 struct stat statbuf;
1471
1472 /* Final message to give to SMTP caller, and messages from ACLs */
1473
1474 uschar *smtp_reply = NULL;
1475 uschar *user_msg, *log_msg;
1476
1477 /* Working header pointers */
1478
1479 header_line *h, *next;
1480
1481 /* Flags for noting the existence of certain headers (only one left) */
1482
1483 BOOL date_header_exists = FALSE;
1484
1485 /* Pointers to receive the addresses of headers whose contents we need. */
1486
1487 header_line *from_header = NULL;
1488 header_line *subject_header = NULL;
1489 header_line *msgid_header = NULL;
1490 header_line *received_header;
1491
1492 #ifdef EXPERIMENTAL_DMARC
1493 int dmarc_up = 0;
1494 #endif /* EXPERIMENTAL_DMARC */
1495
1496 /* Variables for use when building the Received: header. */
1497
1498 uschar *timestamp;
1499 int tslen;
1500
1501 /* Release any open files that might have been cached while preparing to
1502 accept the message - e.g. by verifying addresses - because reading a message
1503 might take a fair bit of real time. */
1504
1505 search_tidyup();
1506
1507 /* Extracting the recipient list from an input file is incompatible with
1508 cutthrough delivery with the no-spool option.  It shouldn't be possible
1509 to set up the combination, but just in case kill any ongoing connection. */
1510 if (extract_recip || !smtp_input)
1511   cancel_cutthrough_connection("not smtp input");
1512
1513 /* Initialize the chain of headers by setting up a place-holder for Received:
1514 header. Temporarily mark it as "old", i.e. not to be used. We keep header_last
1515 pointing to the end of the chain to make adding headers simple. */
1516
1517 received_header = header_list = header_last = store_get(sizeof(header_line));
1518 header_list->next = NULL;
1519 header_list->type = htype_old;
1520 header_list->text = NULL;
1521 header_list->slen = 0;
1522
1523 /* Control block for the next header to be read. */
1524
1525 next = store_get(sizeof(header_line));
1526 next->text = store_get(header_size);
1527
1528 /* Initialize message id to be null (indicating no message read), and the
1529 header names list to be the normal list. Indicate there is no data file open
1530 yet, initialize the size and warning count, and deal with no size limit. */
1531
1532 message_id[0] = 0;
1533 data_file = NULL;
1534 data_fd = -1;
1535 spool_name[0] = 0;
1536 message_size = 0;
1537 warning_count = 0;
1538 received_count = 1;            /* For the one we will add */
1539
1540 if (thismessage_size_limit <= 0) thismessage_size_limit = INT_MAX;
1541
1542 /* While reading the message, the following counts are computed. */
1543
1544 message_linecount = body_linecount = body_zerocount =
1545   max_received_linelength = 0;
1546
1547 #ifndef DISABLE_DKIM
1548 /* Call into DKIM to set up the context. */
1549 if (smtp_input && !smtp_batched_input && !dkim_disable_verify) dkim_exim_verify_init();
1550 #endif
1551
1552 #ifdef EXPERIMENTAL_DMARC
1553 /* initialize libopendmarc */
1554 dmarc_up = dmarc_init();
1555 #endif
1556
1557 /* Remember the time of reception. Exim uses time+pid for uniqueness of message
1558 ids, and fractions of a second are required. See the comments that precede the
1559 message id creation below. */
1560
1561 (void)gettimeofday(&message_id_tv, NULL);
1562
1563 /* For other uses of the received time we can operate with granularity of one
1564 second, and for that we use the global variable received_time. This is for
1565 things like ultimate message timeouts. */
1566
1567 received_time = message_id_tv.tv_sec;
1568
1569 /* If SMTP input, set the special handler for timeouts. The alarm() calls
1570 happen in the smtp_getc() function when it refills its buffer. */
1571
1572 if (smtp_input) os_non_restarting_signal(SIGALRM, data_timeout_handler);
1573
1574 /* If not SMTP input, timeout happens only if configured, and we just set a
1575 single timeout for the whole message. */
1576
1577 else if (receive_timeout > 0)
1578   {
1579   os_non_restarting_signal(SIGALRM, data_timeout_handler);
1580   alarm(receive_timeout);
1581   }
1582
1583 /* SIGTERM and SIGINT are caught always. */
1584
1585 signal(SIGTERM, data_sigterm_sigint_handler);
1586 signal(SIGINT, data_sigterm_sigint_handler);
1587
1588 /* Header lines in messages are not supposed to be very long, though when
1589 unfolded, to: and cc: headers can take up a lot of store. We must also cope
1590 with the possibility of junk being thrown at us. Start by getting 256 bytes for
1591 storing the header, and extend this as necessary using string_cat().
1592
1593 To cope with total lunacies, impose an upper limit on the length of the header
1594 section of the message, as otherwise the store will fill up. We must also cope
1595 with the possibility of binary zeros in the data. Hence we cannot use fgets().
1596 Folded header lines are joined into one string, leaving the '\n' characters
1597 inside them, so that writing them out reproduces the input.
1598
1599 Loop for each character of each header; the next structure for chaining the
1600 header is set up already, with ptr the offset of the next character in
1601 next->text. */
1602
1603 for (;;)
1604   {
1605   int ch = (receive_getc)();
1606
1607   /* If we hit EOF on a SMTP connection, it's an error, since incoming
1608   SMTP must have a correct "." terminator. */
1609
1610   if (ch == EOF && smtp_input /* && !smtp_batched_input */)
1611     {
1612     smtp_reply = handle_lost_connection(US" (header)");
1613     smtp_yield = FALSE;
1614     goto TIDYUP;                       /* Skip to end of function */
1615     }
1616
1617   /* See if we are at the current header's size limit - there must be at least
1618   four bytes left. This allows for the new character plus a zero, plus two for
1619   extra insertions when we are playing games with dots and carriage returns. If
1620   we are at the limit, extend the text buffer. This could have been done
1621   automatically using string_cat() but because this is a tightish loop storing
1622   only one character at a time, we choose to do it inline. Normally
1623   store_extend() will be able to extend the block; only at the end of a big
1624   store block will a copy be needed. To handle the case of very long headers
1625   (and sometimes lunatic messages can have ones that are 100s of K long) we
1626   call store_release() for strings that have been copied - if the string is at
1627   the start of a block (and therefore the only thing in it, because we aren't
1628   doing any other gets), the block gets freed. We can only do this because we
1629   know there are no other calls to store_get() going on. */
1630
1631   if (ptr >= header_size - 4)
1632     {
1633     int oldsize = header_size;
1634     /* header_size += 256; */
1635     header_size *= 2;
1636     if (!store_extend(next->text, oldsize, header_size))
1637       {
1638       uschar *newtext = store_get(header_size);
1639       memcpy(newtext, next->text, ptr);
1640       store_release(next->text);
1641       next->text = newtext;
1642       }
1643     }
1644
1645   /* Cope with receiving a binary zero. There is dispute about whether
1646   these should be allowed in RFC 822 messages. The middle view is that they
1647   should not be allowed in headers, at least. Exim takes this attitude at
1648   the moment. We can't just stomp on them here, because we don't know that
1649   this line is a header yet. Set a flag to cause scanning later. */
1650
1651   if (ch == 0) had_zero++;
1652
1653   /* Test for termination. Lines in remote SMTP are terminated by CRLF, while
1654   those from data files use just LF. Treat LF in local SMTP input as a
1655   terminator too. Treat EOF as a line terminator always. */
1656
1657   if (ch == EOF) goto EOL;
1658
1659   /* FUDGE: There are sites out there that don't send CRs before their LFs, and
1660   other MTAs accept this. We are therefore forced into this "liberalisation"
1661   too, so we accept LF as a line terminator whatever the source of the message.
1662   However, if the first line of the message ended with a CRLF, we treat a bare
1663   LF specially by inserting a white space after it to ensure that the header
1664   line is not terminated. */
1665
1666   if (ch == '\n')
1667     {
1668     if (first_line_ended_crlf == TRUE_UNSET) first_line_ended_crlf = FALSE;
1669       else if (first_line_ended_crlf) receive_ungetc(' ');
1670     goto EOL;
1671     }
1672
1673   /* This is not the end of the line. If this is SMTP input and this is
1674   the first character in the line and it is a "." character, ignore it.
1675   This implements the dot-doubling rule, though header lines starting with
1676   dots aren't exactly common. They are legal in RFC 822, though. If the
1677   following is CRLF or LF, this is the line that that terminates the
1678   entire message. We set message_ended to indicate this has happened (to
1679   prevent further reading), and break out of the loop, having freed the
1680   empty header, and set next = NULL to indicate no data line. */
1681
1682   if (ptr == 0 && ch == '.' && (smtp_input || dot_ends))
1683     {
1684     ch = (receive_getc)();
1685     if (ch == '\r')
1686       {
1687       ch = (receive_getc)();
1688       if (ch != '\n')
1689         {
1690         receive_ungetc(ch);
1691         ch = '\r';              /* Revert to CR */
1692         }
1693       }
1694     if (ch == '\n')
1695       {
1696       message_ended = END_DOT;
1697       store_reset(next);
1698       next = NULL;
1699       break;                    /* End character-reading loop */
1700       }
1701
1702     /* For non-SMTP input, the dot at the start of the line was really a data
1703     character. What is now in ch is the following character. We guaranteed
1704     enough space for this above. */
1705
1706     if (!smtp_input)
1707       {
1708       next->text[ptr++] = '.';
1709       message_size++;
1710       }
1711     }
1712
1713   /* If CR is immediately followed by LF, end the line, ignoring the CR, and
1714   remember this case if this is the first line ending. */
1715
1716   if (ch == '\r')
1717     {
1718     ch = (receive_getc)();
1719     if (ch == '\n')
1720       {
1721       if (first_line_ended_crlf == TRUE_UNSET) first_line_ended_crlf = TRUE;
1722       goto EOL;
1723       }
1724
1725     /* Otherwise, put back the character after CR, and turn the bare CR
1726     into LF SP. */
1727
1728     ch = (receive_ungetc)(ch);
1729     next->text[ptr++] = '\n';
1730     message_size++;
1731     ch = ' ';
1732     }
1733
1734   /* We have a data character for the header line. */
1735
1736   next->text[ptr++] = ch;    /* Add to buffer */
1737   message_size++;            /* Total message size so far */
1738
1739   /* Handle failure due to a humungously long header section. The >= allows
1740   for the terminating \n. Add what we have so far onto the headers list so
1741   that it gets reflected in any error message, and back up the just-read
1742   character. */
1743
1744   if (message_size >= header_maxsize)
1745     {
1746     next->text[ptr] = 0;
1747     next->slen = ptr;
1748     next->type = htype_other;
1749     next->next = NULL;
1750     header_last->next = next;
1751     header_last = next;
1752
1753     log_write(0, LOG_MAIN, "ridiculously long message header received from "
1754       "%s (more than %d characters): message abandoned",
1755       sender_host_unknown? sender_ident : sender_fullhost, header_maxsize);
1756
1757     if (smtp_input)
1758       {
1759       smtp_reply = US"552 Message header is ridiculously long";
1760       receive_swallow_smtp();
1761       goto TIDYUP;                             /* Skip to end of function */
1762       }
1763
1764     else
1765       {
1766       give_local_error(ERRMESS_VLONGHEADER,
1767         string_sprintf("message header longer than %d characters received: "
1768          "message not accepted", header_maxsize), US"", error_rc, stdin,
1769            header_list->next);
1770       /* Does not return */
1771       }
1772     }
1773
1774   continue;                  /* With next input character */
1775
1776   /* End of header line reached */
1777
1778   EOL:
1779
1780   /* Keep track of lines for BSMTP errors and overall message_linecount. */
1781
1782   receive_linecount++;
1783   message_linecount++;
1784
1785   /* Keep track of maximum line length */
1786
1787   if (ptr - prevlines_length > max_received_linelength)
1788     max_received_linelength = ptr - prevlines_length;
1789   prevlines_length = ptr + 1;
1790
1791   /* Now put in the terminating newline. There is always space for
1792   at least two more characters. */
1793
1794   next->text[ptr++] = '\n';
1795   message_size++;
1796
1797   /* A blank line signals the end of the headers; release the unwanted
1798   space and set next to NULL to indicate this. */
1799
1800   if (ptr == 1)
1801     {
1802     store_reset(next);
1803     next = NULL;
1804     break;
1805     }
1806
1807   /* There is data in the line; see if the next input character is a
1808   whitespace character. If it is, we have a continuation of this header line.
1809   There is always space for at least one character at this point. */
1810
1811   if (ch != EOF)
1812     {
1813     int nextch = (receive_getc)();
1814     if (nextch == ' ' || nextch == '\t')
1815       {
1816       next->text[ptr++] = nextch;
1817       message_size++;
1818       continue;                      /* Iterate the loop */
1819       }
1820     else if (nextch != EOF) (receive_ungetc)(nextch);   /* For next time */
1821     else ch = EOF;                   /* Cause main loop to exit at end */
1822     }
1823
1824   /* We have got to the real line end. Terminate the string and release store
1825   beyond it. If it turns out to be a real header, internal binary zeros will
1826   be squashed later. */
1827
1828   next->text[ptr] = 0;
1829   next->slen = ptr;
1830   store_reset(next->text + ptr + 1);
1831
1832   /* Check the running total size against the overall message size limit. We
1833   don't expect to fail here, but if the overall limit is set less than MESSAGE_
1834   MAXSIZE and a big header is sent, we want to catch it. Just stop reading
1835   headers - the code to read the body will then also hit the buffer. */
1836
1837   if (message_size > thismessage_size_limit) break;
1838
1839   /* A line that is not syntactically correct for a header also marks
1840   the end of the headers. In this case, we leave next containing the
1841   first data line. This might actually be several lines because of the
1842   continuation logic applied above, but that doesn't matter.
1843
1844   It turns out that smail, and presumably sendmail, accept leading lines
1845   of the form
1846
1847   From ph10 Fri Jan  5 12:35 GMT 1996
1848
1849   in messages. The "mail" command on Solaris 2 sends such lines. I cannot
1850   find any documentation of this, but for compatibility it had better be
1851   accepted. Exim restricts it to the case of non-smtp messages, and
1852   treats it as an alternative to the -f command line option. Thus it is
1853   ignored except for trusted users or filter testing. Otherwise it is taken
1854   as the sender address, unless -f was used (sendmail compatibility).
1855
1856   It further turns out that some UUCPs generate the From_line in a different
1857   format, e.g.
1858
1859   From ph10 Fri, 7 Jan 97 14:00:00 GMT
1860
1861   The regex for matching these things is now capable of recognizing both
1862   formats (including 2- and 4-digit years in the latter). In fact, the regex
1863   is now configurable, as is the expansion string to fish out the sender.
1864
1865   Even further on it has been discovered that some broken clients send
1866   these lines in SMTP messages. There is now an option to ignore them from
1867   specified hosts or networks. Sigh. */
1868
1869   if (header_last == header_list &&
1870        (!smtp_input
1871          ||
1872          (sender_host_address != NULL &&
1873            verify_check_host(&ignore_fromline_hosts) == OK)
1874          ||
1875          (sender_host_address == NULL && ignore_fromline_local)
1876        ) &&
1877        regex_match_and_setup(regex_From, next->text, 0, -1))
1878     {
1879     if (!sender_address_forced)
1880       {
1881       uschar *uucp_sender = expand_string(uucp_from_sender);
1882       if (uucp_sender == NULL)
1883         {
1884         log_write(0, LOG_MAIN|LOG_PANIC,
1885           "expansion of \"%s\" failed after matching "
1886           "\"From \" line: %s", uucp_from_sender, expand_string_message);
1887         }
1888       else
1889         {
1890         int start, end, domain;
1891         uschar *errmess;
1892         uschar *newsender = parse_extract_address(uucp_sender, &errmess,
1893           &start, &end, &domain, TRUE);
1894         if (newsender != NULL)
1895           {
1896           if (domain == 0 && newsender[0] != 0)
1897             newsender = rewrite_address_qualify(newsender, FALSE);
1898
1899           if (filter_test != FTEST_NONE || receive_check_set_sender(newsender))
1900             {
1901             sender_address = newsender;
1902
1903             if (trusted_caller || filter_test != FTEST_NONE)
1904               {
1905               authenticated_sender = NULL;
1906               originator_name = US"";
1907               sender_local = FALSE;
1908               }
1909
1910             if (filter_test != FTEST_NONE)
1911               printf("Sender taken from \"From \" line\n");
1912             }
1913           }
1914         }
1915       }
1916     }
1917
1918   /* Not a leading "From " line. Check to see if it is a valid header line.
1919   Header names may contain any non-control characters except space and colon,
1920   amazingly. */
1921
1922   else
1923     {
1924     uschar *p = next->text;
1925
1926     /* If not a valid header line, break from the header reading loop, leaving
1927     next != NULL, indicating that it holds the first line of the body. */
1928
1929     if (isspace(*p)) break;
1930     while (mac_isgraph(*p) && *p != ':') p++;
1931     while (isspace(*p)) p++;
1932     if (*p != ':')
1933       {
1934       body_zerocount = had_zero;
1935       break;
1936       }
1937
1938     /* We have a valid header line. If there were any binary zeroes in
1939     the line, stomp on them here. */
1940
1941     if (had_zero > 0)
1942       for (p = next->text; p < next->text + ptr; p++) if (*p == 0) *p = '?';
1943
1944     /* It is perfectly legal to have an empty continuation line
1945     at the end of a header, but it is confusing to humans
1946     looking at such messages, since it looks like a blank line.
1947     Reduce confusion by removing redundant white space at the
1948     end. We know that there is at least one printing character
1949     (the ':' tested for above) so there is no danger of running
1950     off the end. */
1951
1952     p = next->text + ptr - 2;
1953     for (;;)
1954       {
1955       while (*p == ' ' || *p == '\t') p--;
1956       if (*p != '\n') break;
1957       ptr = (p--) - next->text + 1;
1958       message_size -= next->slen - ptr;
1959       next->text[ptr] = 0;
1960       next->slen = ptr;
1961       }
1962
1963     /* Add the header to the chain */
1964
1965     next->type = htype_other;
1966     next->next = NULL;
1967     header_last->next = next;
1968     header_last = next;
1969
1970     /* Check the limit for individual line lengths. This comes after adding to
1971     the chain so that the failing line is reflected if a bounce is generated
1972     (for a local message). */
1973
1974     if (header_line_maxsize > 0 && next->slen > header_line_maxsize)
1975       {
1976       log_write(0, LOG_MAIN, "overlong message header line received from "
1977         "%s (more than %d characters): message abandoned",
1978         sender_host_unknown? sender_ident : sender_fullhost,
1979         header_line_maxsize);
1980
1981       if (smtp_input)
1982         {
1983         smtp_reply = US"552 A message header line is too long";
1984         receive_swallow_smtp();
1985         goto TIDYUP;                             /* Skip to end of function */
1986         }
1987
1988       else
1989         {
1990         give_local_error(ERRMESS_VLONGHDRLINE,
1991           string_sprintf("message header line longer than %d characters "
1992            "received: message not accepted", header_line_maxsize), US"",
1993            error_rc, stdin, header_list->next);
1994         /* Does not return */
1995         }
1996       }
1997
1998     /* Note if any resent- fields exist. */
1999
2000     if (!resents_exist && strncmpic(next->text, US"resent-", 7) == 0)
2001       {
2002       resents_exist = TRUE;
2003       resent_prefix = US"Resent-";
2004       }
2005     }
2006
2007   /* The line has been handled. If we have hit EOF, break out of the loop,
2008   indicating no pending data line. */
2009
2010   if (ch == EOF) { next = NULL; break; }
2011
2012   /* Set up for the next header */
2013
2014   header_size = 256;
2015   next = store_get(sizeof(header_line));
2016   next->text = store_get(header_size);
2017   ptr = 0;
2018   had_zero = 0;
2019   prevlines_length = 0;
2020   }      /* Continue, starting to read the next header */
2021
2022 /* At this point, we have read all the headers into a data structure in main
2023 store. The first header is still the dummy placeholder for the Received: header
2024 we are going to generate a bit later on. If next != NULL, it contains the first
2025 data line - which terminated the headers before reaching a blank line (not the
2026 normal case). */
2027
2028 DEBUG(D_receive)
2029   {
2030   debug_printf(">>Headers received:\n");
2031   for (h = header_list->next; h != NULL; h = h->next)
2032     debug_printf("%s", h->text);
2033   debug_printf("\n");
2034   }
2035
2036 /* End of file on any SMTP connection is an error. If an incoming SMTP call
2037 is dropped immediately after valid headers, the next thing we will see is EOF.
2038 We must test for this specially, as further down the reading of the data is
2039 skipped if already at EOF. */
2040
2041 if (smtp_input && (receive_feof)())
2042   {
2043   smtp_reply = handle_lost_connection(US" (after header)");
2044   smtp_yield = FALSE;
2045   goto TIDYUP;                       /* Skip to end of function */
2046   }
2047
2048 /* If this is a filter test run and no headers were read, output a warning
2049 in case there is a mistake in the test message. */
2050
2051 if (filter_test != FTEST_NONE && header_list->next == NULL)
2052   printf("Warning: no message headers read\n");
2053
2054
2055 /* Scan the headers to identify them. Some are merely marked for later
2056 processing; some are dealt with here. */
2057
2058 for (h = header_list->next; h != NULL; h = h->next)
2059   {
2060   BOOL is_resent = strncmpic(h->text, US"resent-", 7) == 0;
2061   if (is_resent) contains_resent_headers = TRUE;
2062
2063   switch (header_checkname(h, is_resent))
2064     {
2065     case htype_bcc:
2066     h->type = htype_bcc;        /* Both Bcc: and Resent-Bcc: */
2067     break;
2068
2069     case htype_cc:
2070     h->type = htype_cc;         /* Both Cc: and Resent-Cc: */
2071     break;
2072
2073     /* Record whether a Date: or Resent-Date: header exists, as appropriate. */
2074
2075     case htype_date:
2076     if (!resents_exist || is_resent) date_header_exists = TRUE;
2077     break;
2078
2079     /* Same comments as about Return-Path: below. */
2080
2081     case htype_delivery_date:
2082     if (delivery_date_remove) h->type = htype_old;
2083     break;
2084
2085     /* Same comments as about Return-Path: below. */
2086
2087     case htype_envelope_to:
2088     if (envelope_to_remove) h->type = htype_old;
2089     break;
2090
2091     /* Mark all "From:" headers so they get rewritten. Save the one that is to
2092     be used for Sender: checking. For Sendmail compatibility, if the "From:"
2093     header consists of just the login id of the user who called Exim, rewrite
2094     it with the gecos field first. Apply this rule to Resent-From: if there
2095     are resent- fields. */
2096
2097     case htype_from:
2098     h->type = htype_from;
2099     if (!resents_exist || is_resent)
2100       {
2101       from_header = h;
2102       if (!smtp_input)
2103         {
2104         int len;
2105         uschar *s = Ustrchr(h->text, ':') + 1;
2106         while (isspace(*s)) s++;
2107         len = h->slen - (s - h->text) - 1;
2108         if (Ustrlen(originator_login) == len &&
2109             strncmpic(s, originator_login, len) == 0)
2110           {
2111           uschar *name = is_resent? US"Resent-From" : US"From";
2112           header_add(htype_from, "%s: %s <%s@%s>\n", name, originator_name,
2113             originator_login, qualify_domain_sender);
2114           from_header = header_last;
2115           h->type = htype_old;
2116           DEBUG(D_receive|D_rewrite)
2117             debug_printf("rewrote \"%s:\" header using gecos\n", name);
2118          }
2119         }
2120       }
2121     break;
2122
2123     /* Identify the Message-id: header for generating "in-reply-to" in the
2124     autoreply transport. For incoming logging, save any resent- value. In both
2125     cases, take just the first of any multiples. */
2126
2127     case htype_id:
2128     if (msgid_header == NULL && (!resents_exist || is_resent))
2129       {
2130       msgid_header = h;
2131       h->type = htype_id;
2132       }
2133     break;
2134
2135     /* Flag all Received: headers */
2136
2137     case htype_received:
2138     h->type = htype_received;
2139     received_count++;
2140     break;
2141
2142     /* "Reply-to:" is just noted (there is no resent-reply-to field) */
2143
2144     case htype_reply_to:
2145     h->type = htype_reply_to;
2146     break;
2147
2148     /* The Return-path: header is supposed to be added to messages when
2149     they leave the SMTP system. We shouldn't receive messages that already
2150     contain Return-path. However, since Exim generates Return-path: on
2151     local delivery, resent messages may well contain it. We therefore
2152     provide an option (which defaults on) to remove any Return-path: headers
2153     on input. Removal actually means flagging as "old", which prevents the
2154     header being transmitted with the message. */
2155
2156     case htype_return_path:
2157     if (return_path_remove) h->type = htype_old;
2158
2159     /* If we are testing a mail filter file, use the value of the
2160     Return-Path: header to set up the return_path variable, which is not
2161     otherwise set. However, remove any <> that surround the address
2162     because the variable doesn't have these. */
2163
2164     if (filter_test != FTEST_NONE)
2165       {
2166       uschar *start = h->text + 12;
2167       uschar *end = start + Ustrlen(start);
2168       while (isspace(*start)) start++;
2169       while (end > start && isspace(end[-1])) end--;
2170       if (*start == '<' && end[-1] == '>')
2171         {
2172         start++;
2173         end--;
2174         }
2175       return_path = string_copyn(start, end - start);
2176       printf("Return-path taken from \"Return-path:\" header line\n");
2177       }
2178     break;
2179
2180     /* If there is a "Sender:" header and the message is locally originated,
2181     and from an untrusted caller and suppress_local_fixups is not set, or if we
2182     are in submission mode for a remote message, mark it "old" so that it will
2183     not be transmitted with the message, unless active_local_sender_retain is
2184     set. (This can only be true if active_local_from_check is false.) If there
2185     are any resent- headers in the message, apply this rule to Resent-Sender:
2186     instead of Sender:. Messages with multiple resent- header sets cannot be
2187     tidily handled. (For this reason, at least one MUA - Pine - turns old
2188     resent- headers into X-resent- headers when resending, leaving just one
2189     set.) */
2190
2191     case htype_sender:
2192     h->type = ((!active_local_sender_retain &&
2193                 (
2194                 (sender_local && !trusted_caller && !suppress_local_fixups)
2195                   || submission_mode
2196                 )
2197                ) &&
2198                (!resents_exist||is_resent))?
2199       htype_old : htype_sender;
2200     break;
2201
2202     /* Remember the Subject: header for logging. There is no Resent-Subject */
2203
2204     case htype_subject:
2205     subject_header = h;
2206     break;
2207
2208     /* "To:" gets flagged, and the existence of a recipient header is noted,
2209     whether it's resent- or not. */
2210
2211     case htype_to:
2212     h->type = htype_to;
2213     /****
2214     to_or_cc_header_exists = TRUE;
2215     ****/
2216     break;
2217     }
2218   }
2219
2220 /* Extract recipients from the headers if that is required (the -t option).
2221 Note that this is documented as being done *before* any address rewriting takes
2222 place. There are two possibilities:
2223
2224 (1) According to sendmail documentation for Solaris, IRIX, and HP-UX, any
2225 recipients already listed are to be REMOVED from the message. Smail 3 works
2226 like this. We need to build a non-recipients tree for that list, because in
2227 subsequent processing this data is held in a tree and that's what the
2228 spool_write_header() function expects. Make sure that non-recipient addresses
2229 are fully qualified and rewritten if necessary.
2230
2231 (2) According to other sendmail documentation, -t ADDS extracted recipients to
2232 those in the command line arguments (and it is rumoured some other MTAs do
2233 this). Therefore, there is an option to make Exim behave this way.
2234
2235 *** Notes on "Resent-" header lines ***
2236
2237 The presence of resent-headers in the message makes -t horribly ambiguous.
2238 Experiments with sendmail showed that it uses recipients for all resent-
2239 headers, totally ignoring the concept of "sets of resent- headers" as described
2240 in RFC 2822 section 3.6.6. Sendmail also amalgamates them into a single set
2241 with all the addresses in one instance of each header.
2242
2243 This seems to me not to be at all sensible. Before release 4.20, Exim 4 gave an
2244 error for -t if there were resent- headers in the message. However, after a
2245 discussion on the mailing list, I've learned that there are MUAs that use
2246 resent- headers with -t, and also that the stuff about sets of resent- headers
2247 and their ordering in RFC 2822 is generally ignored. An MUA that submits a
2248 message with -t and resent- header lines makes sure that only *its* resent-
2249 headers are present; previous ones are often renamed as X-resent- for example.
2250
2251 Consequently, Exim has been changed so that, if any resent- header lines are
2252 present, the recipients are taken from all of the appropriate resent- lines,
2253 and not from the ordinary To:, Cc:, etc. */
2254
2255 if (extract_recip)
2256   {
2257   int rcount = 0;
2258   error_block **bnext = &bad_addresses;
2259
2260   if (extract_addresses_remove_arguments)
2261     {
2262     while (recipients_count-- > 0)
2263       {
2264       uschar *s = rewrite_address(recipients_list[recipients_count].address,
2265         TRUE, TRUE, global_rewrite_rules, rewrite_existflags);
2266       tree_add_nonrecipient(s);
2267       }
2268     recipients_list = NULL;
2269     recipients_count = recipients_list_max = 0;
2270     }
2271
2272   /* Now scan the headers */
2273
2274   for (h = header_list->next; h != NULL; h = h->next)
2275     {
2276     if ((h->type == htype_to || h->type == htype_cc || h->type == htype_bcc) &&
2277         (!contains_resent_headers || strncmpic(h->text, US"resent-", 7) == 0))
2278       {
2279       uschar *s = Ustrchr(h->text, ':') + 1;
2280       while (isspace(*s)) s++;
2281
2282       parse_allow_group = TRUE;          /* Allow address group syntax */
2283
2284       while (*s != 0)
2285         {
2286         uschar *ss = parse_find_address_end(s, FALSE);
2287         uschar *recipient, *errmess, *p, *pp;
2288         int start, end, domain;
2289
2290         /* Check on maximum */
2291
2292         if (recipients_max > 0 && ++rcount > recipients_max)
2293           {
2294           give_local_error(ERRMESS_TOOMANYRECIP, US"too many recipients",
2295             US"message rejected: ", error_rc, stdin, NULL);
2296           /* Does not return */
2297           }
2298
2299         /* Make a copy of the address, and remove any internal newlines. These
2300         may be present as a result of continuations of the header line. The
2301         white space that follows the newline must not be removed - it is part
2302         of the header. */
2303
2304         pp = recipient = store_get(ss - s + 1);
2305         for (p = s; p < ss; p++) if (*p != '\n') *pp++ = *p;
2306         *pp = 0;
2307         recipient = parse_extract_address(recipient, &errmess, &start, &end,
2308           &domain, FALSE);
2309
2310         /* Keep a list of all the bad addresses so we can send a single
2311         error message at the end. However, an empty address is not an error;
2312         just ignore it. This can come from an empty group list like
2313
2314           To: Recipients of list:;
2315
2316         If there are no recipients at all, an error will occur later. */
2317
2318         if (recipient == NULL && Ustrcmp(errmess, "empty address") != 0)
2319           {
2320           int len = Ustrlen(s);
2321           error_block *b = store_get(sizeof(error_block));
2322           while (len > 0 && isspace(s[len-1])) len--;
2323           b->next = NULL;
2324           b->text1 = string_printing(string_copyn(s, len));
2325           b->text2 = errmess;
2326           *bnext = b;
2327           bnext = &(b->next);
2328           }
2329
2330         /* If the recipient is already in the nonrecipients tree, it must
2331         have appeared on the command line with the option extract_addresses_
2332         remove_arguments set. Do not add it to the recipients, and keep a note
2333         that this has happened, in order to give a better error if there are
2334         no recipients left. */
2335
2336         else if (recipient != NULL)
2337           {
2338           if (tree_search(tree_nonrecipients, recipient) == NULL)
2339             receive_add_recipient(recipient, -1);
2340           else
2341             extracted_ignored = TRUE;
2342           }
2343
2344         /* Move on past this address */
2345
2346         s = ss + (*ss? 1:0);
2347         while (isspace(*s)) s++;
2348         }    /* Next address */
2349
2350       parse_allow_group = FALSE;      /* Reset group syntax flags */
2351       parse_found_group = FALSE;
2352
2353       /* If this was the bcc: header, mark it "old", which means it
2354       will be kept on the spool, but not transmitted as part of the
2355       message. */
2356
2357       if (h->type == htype_bcc) h->type = htype_old;
2358       }   /* For appropriate header line */
2359     }     /* For each header line */
2360
2361   }
2362
2363 /* Now build the unique message id. This has changed several times over the
2364 lifetime of Exim. This description was rewritten for Exim 4.14 (February 2003).
2365 Retaining all the history in the comment has become too unwieldy - read
2366 previous release sources if you want it.
2367
2368 The message ID has 3 parts: tttttt-pppppp-ss. Each part is a number in base 62.
2369 The first part is the current time, in seconds. The second part is the current
2370 pid. Both are large enough to hold 32-bit numbers in base 62. The third part
2371 can hold a number in the range 0-3843. It used to be a computed sequence
2372 number, but is now the fractional component of the current time in units of
2373 1/2000 of a second (i.e. a value in the range 0-1999). After a message has been
2374 received, Exim ensures that the timer has ticked at the appropriate level
2375 before proceeding, to avoid duplication if the pid happened to be re-used
2376 within the same time period. It seems likely that most messages will take at
2377 least half a millisecond to be received, so no delay will normally be
2378 necessary. At least for some time...
2379
2380 There is a modification when localhost_number is set. Formerly this was allowed
2381 to be as large as 255. Now it is restricted to the range 0-16, and the final
2382 component of the message id becomes (localhost_number * 200) + fractional time
2383 in units of 1/200 of a second (i.e. a value in the range 0-3399).
2384
2385 Some not-really-Unix operating systems use case-insensitive file names (Darwin,
2386 Cygwin). For these, we have to use base 36 instead of base 62. Luckily, this
2387 still allows the tttttt field to hold a large enough number to last for some
2388 more decades, and the final two-digit field can hold numbers up to 1295, which
2389 is enough for milliseconds (instead of 1/2000 of a second).
2390
2391 However, the pppppp field cannot hold a 32-bit pid, but it can hold a 31-bit
2392 pid, so it is probably safe because pids have to be positive. The
2393 localhost_number is restricted to 0-10 for these hosts, and when it is set, the
2394 final field becomes (localhost_number * 100) + fractional time in centiseconds.
2395
2396 Note that string_base62() returns its data in a static storage block, so it
2397 must be copied before calling string_base62() again. It always returns exactly
2398 6 characters.
2399
2400 There doesn't seem to be anything in the RFC which requires a message id to
2401 start with a letter, but Smail was changed to ensure this. The external form of
2402 the message id (as supplied by string expansion) therefore starts with an
2403 additional leading 'E'. The spool file names do not include this leading
2404 letter and it is not used internally.
2405
2406 NOTE: If ever the format of message ids is changed, the regular expression for
2407 checking that a string is in this format must be updated in a corresponding
2408 way. It appears in the initializing code in exim.c. The macro MESSAGE_ID_LENGTH
2409 must also be changed to reflect the correct string length. Then, of course,
2410 other programs that rely on the message id format will need updating too. */
2411
2412 Ustrncpy(message_id, string_base62((long int)(message_id_tv.tv_sec)), 6);
2413 message_id[6] = '-';
2414 Ustrncpy(message_id + 7, string_base62((long int)getpid()), 6);
2415
2416 /* Deal with the case where the host number is set. The value of the number was
2417 checked when it was read, to ensure it isn't too big. The timing granularity is
2418 left in id_resolution so that an appropriate wait can be done after receiving
2419 the message, if necessary (we hope it won't be). */
2420
2421 if (host_number_string != NULL)
2422   {
2423   id_resolution = (BASE_62 == 62)? 5000 : 10000;
2424   sprintf(CS(message_id + MESSAGE_ID_LENGTH - 3), "-%2s",
2425     string_base62((long int)(
2426       host_number * (1000000/id_resolution) +
2427         message_id_tv.tv_usec/id_resolution)) + 4);
2428   }
2429
2430 /* Host number not set: final field is just the fractional time at an
2431 appropriate resolution. */
2432
2433 else
2434   {
2435   id_resolution = (BASE_62 == 62)? 500 : 1000;
2436   sprintf(CS(message_id + MESSAGE_ID_LENGTH - 3), "-%2s",
2437     string_base62((long int)(message_id_tv.tv_usec/id_resolution)) + 4);
2438   }
2439
2440 /* Add the current message id onto the current process info string if
2441 it will fit. */
2442
2443 (void)string_format(process_info + process_info_len,
2444   PROCESS_INFO_SIZE - process_info_len, " id=%s", message_id);
2445
2446 /* If we are using multiple input directories, set up the one for this message
2447 to be the least significant base-62 digit of the time of arrival. Otherwise
2448 ensure that it is an empty string. */
2449
2450 message_subdir[0] = split_spool_directory? message_id[5] : 0;
2451
2452 /* Now that we have the message-id, if there is no message-id: header, generate
2453 one, but only for local (without suppress_local_fixups) or submission mode
2454 messages. This can be user-configured if required, but we had better flatten
2455 any illegal characters therein. */
2456
2457 if (msgid_header == NULL &&
2458       ((sender_host_address == NULL && !suppress_local_fixups)
2459         || submission_mode))
2460   {
2461   uschar *p;
2462   uschar *id_text = US"";
2463   uschar *id_domain = primary_hostname;
2464
2465   /* Permit only letters, digits, dots, and hyphens in the domain */
2466
2467   if (message_id_domain != NULL)
2468     {
2469     uschar *new_id_domain = expand_string(message_id_domain);
2470     if (new_id_domain == NULL)
2471       {
2472       if (!expand_string_forcedfail)
2473         log_write(0, LOG_MAIN|LOG_PANIC,
2474           "expansion of \"%s\" (message_id_header_domain) "
2475           "failed: %s", message_id_domain, expand_string_message);
2476       }
2477     else if (*new_id_domain != 0)
2478       {
2479       id_domain = new_id_domain;
2480       for (p = id_domain; *p != 0; p++)
2481         if (!isalnum(*p) && *p != '.') *p = '-';  /* No need to test '-' ! */
2482       }
2483     }
2484
2485   /* Permit all characters except controls and RFC 2822 specials in the
2486   additional text part. */
2487
2488   if (message_id_text != NULL)
2489     {
2490     uschar *new_id_text = expand_string(message_id_text);
2491     if (new_id_text == NULL)
2492       {
2493       if (!expand_string_forcedfail)
2494         log_write(0, LOG_MAIN|LOG_PANIC,
2495           "expansion of \"%s\" (message_id_header_text) "
2496           "failed: %s", message_id_text, expand_string_message);
2497       }
2498     else if (*new_id_text != 0)
2499       {
2500       id_text = new_id_text;
2501       for (p = id_text; *p != 0; p++)
2502         if (mac_iscntrl_or_special(*p)) *p = '-';
2503       }
2504     }
2505
2506   /* Add the header line
2507    * Resent-* headers are prepended, per RFC 5322 3.6.6.  Non-Resent-* are
2508    * appended, to preserve classical expectations of header ordering. */
2509
2510   header_add_at_position(!resents_exist, NULL, FALSE, htype_id,
2511     "%sMessage-Id: <%s%s%s@%s>\n", resent_prefix, message_id_external,
2512     (*id_text == 0)? "" : ".", id_text, id_domain);
2513   }
2514
2515 /* If we are to log recipients, keep a copy of the raw ones before any possible
2516 rewriting. Must copy the count, because later ACLs and the local_scan()
2517 function may mess with the real recipients. */
2518
2519 if ((log_extra_selector & LX_received_recipients) != 0)
2520   {
2521   raw_recipients = store_get(recipients_count * sizeof(uschar *));
2522   for (i = 0; i < recipients_count; i++)
2523     raw_recipients[i] = string_copy(recipients_list[i].address);
2524   raw_recipients_count = recipients_count;
2525   }
2526
2527 /* Ensure the recipients list is fully qualified and rewritten. Unqualified
2528 recipients will get here only if the conditions were right (allow_unqualified_
2529 recipient is TRUE). */
2530
2531 for (i = 0; i < recipients_count; i++)
2532   recipients_list[i].address =
2533     rewrite_address(recipients_list[i].address, TRUE, TRUE,
2534       global_rewrite_rules, rewrite_existflags);
2535
2536 /* If there is no From: header, generate one for local (without
2537 suppress_local_fixups) or submission_mode messages. If there is no sender
2538 address, but the sender is local or this is a local delivery error, use the
2539 originator login. This shouldn't happen for genuine bounces, but might happen
2540 for autoreplies. The addition of From: must be done *before* checking for the
2541 possible addition of a Sender: header, because untrusted_set_sender allows an
2542 untrusted user to set anything in the envelope (which might then get info
2543 From:) but we still want to ensure a valid Sender: if it is required. */
2544
2545 if (from_header == NULL &&
2546     ((sender_host_address == NULL && !suppress_local_fixups)
2547       || submission_mode))
2548   {
2549   uschar *oname = US"";
2550
2551   /* Use the originator_name if this is a locally submitted message and the
2552   caller is not trusted. For trusted callers, use it only if -F was used to
2553   force its value or if we have a non-SMTP message for which -f was not used
2554   to set the sender. */
2555
2556   if (sender_host_address == NULL)
2557     {
2558     if (!trusted_caller || sender_name_forced ||
2559          (!smtp_input && !sender_address_forced))
2560       oname = originator_name;
2561     }
2562
2563   /* For non-locally submitted messages, the only time we use the originator
2564   name is when it was forced by the /name= option on control=submission. */
2565
2566   else
2567     {
2568     if (submission_name != NULL) oname = submission_name;
2569     }
2570
2571   /* Envelope sender is empty */
2572
2573   if (sender_address[0] == 0)
2574     {
2575     uschar *fromstart, *fromend;
2576
2577     fromstart = string_sprintf("%sFrom: %s%s", resent_prefix,
2578       oname, (oname[0] == 0)? "" : " <");
2579     fromend = (oname[0] == 0)? US"" : US">";
2580
2581     if (sender_local || local_error_message)
2582       {
2583       header_add(htype_from, "%s%s@%s%s\n", fromstart,
2584         local_part_quote(originator_login), qualify_domain_sender,
2585         fromend);
2586       }
2587     else if (submission_mode && authenticated_id != NULL)
2588       {
2589       if (submission_domain == NULL)
2590         {
2591         header_add(htype_from, "%s%s@%s%s\n", fromstart,
2592           local_part_quote(authenticated_id), qualify_domain_sender,
2593           fromend);
2594         }
2595       else if (submission_domain[0] == 0)  /* empty => whole address set */
2596         {
2597         header_add(htype_from, "%s%s%s\n", fromstart, authenticated_id,
2598           fromend);
2599         }
2600       else
2601         {
2602         header_add(htype_from, "%s%s@%s%s\n", fromstart,
2603           local_part_quote(authenticated_id), submission_domain,
2604           fromend);
2605         }
2606       from_header = header_last;    /* To get it checked for Sender: */
2607       }
2608     }
2609
2610   /* There is a non-null envelope sender. Build the header using the original
2611   sender address, before any rewriting that might have been done while
2612   verifying it. */
2613
2614   else
2615     {
2616     header_add(htype_from, "%sFrom: %s%s%s%s\n", resent_prefix,
2617       oname,
2618       (oname[0] == 0)? "" : " <",
2619       (sender_address_unrewritten == NULL)?
2620         sender_address : sender_address_unrewritten,
2621       (oname[0] == 0)? "" : ">");
2622
2623     from_header = header_last;    /* To get it checked for Sender: */
2624     }
2625   }
2626
2627
2628 /* If the sender is local (without suppress_local_fixups), or if we are in
2629 submission mode and there is an authenticated_id, check that an existing From:
2630 is correct, and if not, generate a Sender: header, unless disabled. Any
2631 previously-existing Sender: header was removed above. Note that sender_local,
2632 as well as being TRUE if the caller of exim is not trusted, is also true if a
2633 trusted caller did not supply a -f argument for non-smtp input. To allow
2634 trusted callers to forge From: without supplying -f, we have to test explicitly
2635 here. If the From: header contains more than one address, then the call to
2636 parse_extract_address fails, and a Sender: header is inserted, as required. */
2637
2638 if (from_header != NULL &&
2639      (active_local_from_check &&
2640        ((sender_local && !trusted_caller && !suppress_local_fixups) ||
2641         (submission_mode && authenticated_id != NULL))
2642      ))
2643   {
2644   BOOL make_sender = TRUE;
2645   int start, end, domain;
2646   uschar *errmess;
2647   uschar *from_address =
2648     parse_extract_address(Ustrchr(from_header->text, ':') + 1, &errmess,
2649       &start, &end, &domain, FALSE);
2650   uschar *generated_sender_address;
2651
2652   if (submission_mode)
2653     {
2654     if (submission_domain == NULL)
2655       {
2656       generated_sender_address = string_sprintf("%s@%s",
2657         local_part_quote(authenticated_id), qualify_domain_sender);
2658       }
2659     else if (submission_domain[0] == 0)  /* empty => full address */
2660       {
2661       generated_sender_address = string_sprintf("%s",
2662         authenticated_id);
2663       }
2664     else
2665       {
2666       generated_sender_address = string_sprintf("%s@%s",
2667         local_part_quote(authenticated_id), submission_domain);
2668       }
2669     }
2670   else
2671     generated_sender_address = string_sprintf("%s@%s",
2672       local_part_quote(originator_login), qualify_domain_sender);
2673
2674   /* Remove permitted prefixes and suffixes from the local part of the From:
2675   address before doing the comparison with the generated sender. */
2676
2677   if (from_address != NULL)
2678     {
2679     int slen;
2680     uschar *at = (domain == 0)? NULL : from_address + domain - 1;
2681
2682     if (at != NULL) *at = 0;
2683     from_address += route_check_prefix(from_address, local_from_prefix);
2684     slen = route_check_suffix(from_address, local_from_suffix);
2685     if (slen > 0)
2686       {
2687       memmove(from_address+slen, from_address, Ustrlen(from_address)-slen);
2688       from_address += slen;
2689       }
2690     if (at != NULL) *at = '@';
2691
2692     if (strcmpic(generated_sender_address, from_address) == 0 ||
2693       (domain == 0 && strcmpic(from_address, originator_login) == 0))
2694         make_sender = FALSE;
2695     }
2696
2697   /* We have to cause the Sender header to be rewritten if there are
2698   appropriate rewriting rules. */
2699
2700   if (make_sender)
2701     {
2702     if (submission_mode && submission_name == NULL)
2703       header_add(htype_sender, "%sSender: %s\n", resent_prefix,
2704         generated_sender_address);
2705     else
2706       header_add(htype_sender, "%sSender: %s <%s>\n",
2707         resent_prefix,
2708         submission_mode? submission_name : originator_name,
2709         generated_sender_address);
2710     }
2711
2712   /* Ensure that a non-null envelope sender address corresponds to the
2713   submission mode sender address. */
2714
2715   if (submission_mode && sender_address[0] != 0)
2716     {
2717     if (sender_address_unrewritten == NULL)
2718       sender_address_unrewritten = sender_address;
2719     sender_address = generated_sender_address;
2720     if (Ustrcmp(sender_address_unrewritten, generated_sender_address) != 0)
2721       log_write(L_address_rewrite, LOG_MAIN,
2722         "\"%s\" from env-from rewritten as \"%s\" by submission mode",
2723         sender_address_unrewritten, generated_sender_address);
2724     }
2725   }
2726
2727 /* If there are any rewriting rules, apply them to the sender address, unless
2728 it has already been rewritten as part of verification for SMTP input. */
2729
2730 if (global_rewrite_rules != NULL && sender_address_unrewritten == NULL &&
2731     sender_address[0] != 0)
2732   {
2733   sender_address = rewrite_address(sender_address, FALSE, TRUE,
2734     global_rewrite_rules, rewrite_existflags);
2735   DEBUG(D_receive|D_rewrite)
2736     debug_printf("rewritten sender = %s\n", sender_address);
2737   }
2738
2739
2740 /* The headers must be run through rewrite_header(), because it ensures that
2741 addresses are fully qualified, as well as applying any rewriting rules that may
2742 exist.
2743
2744 Qualification of header addresses in a message from a remote host happens only
2745 if the host is in sender_unqualified_hosts or recipient_unqualified hosts, as
2746 appropriate. For local messages, qualification always happens, unless -bnq is
2747 used to explicitly suppress it. No rewriting is done for an unqualified address
2748 that is left untouched.
2749
2750 We start at the second header, skipping our own Received:. This rewriting is
2751 documented as happening *after* recipient addresses are taken from the headers
2752 by the -t command line option. An added Sender: gets rewritten here. */
2753
2754 for (h = header_list->next; h != NULL; h = h->next)
2755   {
2756   header_line *newh = rewrite_header(h, NULL, NULL, global_rewrite_rules,
2757     rewrite_existflags, TRUE);
2758   if (newh != NULL) h = newh;
2759   }
2760
2761
2762 /* An RFC 822 (sic) message is not legal unless it has at least one of "to",
2763 "cc", or "bcc". Note that although the minimal examples in RFC 822 show just
2764 "to" or "bcc", the full syntax spec allows "cc" as well. If any resent- header
2765 exists, this applies to the set of resent- headers rather than the normal set.
2766
2767 The requirement for a recipient header has been removed in RFC 2822. At this
2768 point in the code, earlier versions of Exim added a To: header for locally
2769 submitted messages, and an empty Bcc: header for others. In the light of the
2770 changes in RFC 2822, this was dropped in November 2003. */
2771
2772
2773 /* If there is no date header, generate one if the message originates locally
2774 (i.e. not over TCP/IP) and suppress_local_fixups is not set, or if the
2775 submission mode flag is set. Messages without Date: are not valid, but it seems
2776 to be more confusing if Exim adds one to all remotely-originated messages.
2777 As per Message-Id, we prepend if resending, else append.
2778 */
2779
2780 if (!date_header_exists &&
2781       ((sender_host_address == NULL && !suppress_local_fixups)
2782         || submission_mode))
2783   header_add_at_position(!resents_exist, NULL, FALSE, htype_other,
2784     "%sDate: %s\n", resent_prefix, tod_stamp(tod_full));
2785
2786 search_tidyup();    /* Free any cached resources */
2787
2788 /* Show the complete set of headers if debugging. Note that the first one (the
2789 new Received:) has not yet been set. */
2790
2791 DEBUG(D_receive)
2792   {
2793   debug_printf(">>Headers after rewriting and local additions:\n");
2794   for (h = header_list->next; h != NULL; h = h->next)
2795     debug_printf("%c %s", h->type, h->text);
2796   debug_printf("\n");
2797   }
2798
2799 /* The headers are now complete in store. If we are running in filter
2800 testing mode, that is all this function does. Return TRUE if the message
2801 ended with a dot. */
2802
2803 if (filter_test != FTEST_NONE)
2804   {
2805   process_info[process_info_len] = 0;
2806   return message_ended == END_DOT;
2807   }
2808
2809 /* Cutthrough delivery:
2810 We have to create the Received header now rather than at the end of reception,
2811 so the timestamp behaviour is a change to the normal case.
2812 XXX Ensure this gets documented XXX.
2813 Having created it, send the headers to the destination. */
2814 if (cutthrough.fd >= 0)
2815   {
2816   if (received_count > received_headers_max)
2817     {
2818     cancel_cutthrough_connection("too many headers");
2819     if (smtp_input) receive_swallow_smtp();  /* Swallow incoming SMTP */
2820     log_write(0, LOG_MAIN|LOG_REJECT, "rejected from <%s>%s%s%s%s: "
2821       "Too many \"Received\" headers",
2822       sender_address,
2823       (sender_fullhost == NULL)? "" : " H=",
2824       (sender_fullhost == NULL)? US"" : sender_fullhost,
2825       (sender_ident == NULL)? "" : " U=",
2826       (sender_ident == NULL)? US"" : sender_ident);
2827     message_id[0] = 0;                       /* Indicate no message accepted */
2828     smtp_reply = US"550 Too many \"Received\" headers - suspected mail loop";
2829     goto TIDYUP;                             /* Skip to end of function */
2830     }
2831   received_header_gen();
2832   add_acl_headers(ACL_WHERE_RCPT, US"MAIL or RCPT");
2833   (void) cutthrough_headers_send();
2834   }
2835
2836
2837 /* Open a new spool file for the data portion of the message. We need
2838 to access it both via a file descriptor and a stream. Try to make the
2839 directory if it isn't there. Note re use of sprintf: spool_directory
2840 is checked on input to be < 200 characters long. */
2841
2842 sprintf(CS spool_name, "%s/input/%s/%s-D", spool_directory, message_subdir,
2843   message_id);
2844 data_fd = Uopen(spool_name, O_RDWR|O_CREAT|O_EXCL, SPOOL_MODE);
2845 if (data_fd < 0)
2846   {
2847   if (errno == ENOENT)
2848     {
2849     uschar temp[16];
2850     sprintf(CS temp, "input/%s", message_subdir);
2851     if (message_subdir[0] == 0) temp[5] = 0;
2852     (void)directory_make(spool_directory, temp, INPUT_DIRECTORY_MODE, TRUE);
2853     data_fd = Uopen(spool_name, O_RDWR|O_CREAT|O_EXCL, SPOOL_MODE);
2854     }
2855   if (data_fd < 0)
2856     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Failed to create spool file %s: %s",
2857       spool_name, strerror(errno));
2858   }
2859
2860 /* Make sure the file's group is the Exim gid, and double-check the mode
2861 because the group setting doesn't always get set automatically. */
2862
2863 if (fchown(data_fd, exim_uid, exim_gid))
2864   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
2865     "Failed setting ownership on spool file %s: %s",
2866     spool_name, strerror(errno));
2867 (void)fchmod(data_fd, SPOOL_MODE);
2868
2869 /* We now have data file open. Build a stream for it and lock it. We lock only
2870 the first line of the file (containing the message ID) because otherwise there
2871 are problems when Exim is run under Cygwin (I'm told). See comments in
2872 spool_in.c, where the same locking is done. */
2873
2874 data_file = fdopen(data_fd, "w+");
2875 lock_data.l_type = F_WRLCK;
2876 lock_data.l_whence = SEEK_SET;
2877 lock_data.l_start = 0;
2878 lock_data.l_len = SPOOL_DATA_START_OFFSET;
2879
2880 if (fcntl(data_fd, F_SETLK, &lock_data) < 0)
2881   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Cannot lock %s (%d): %s", spool_name,
2882     errno, strerror(errno));
2883
2884 /* We have an open, locked data file. Write the message id to it to make it
2885 self-identifying. Then read the remainder of the input of this message and
2886 write it to the data file. If the variable next != NULL, it contains the first
2887 data line (which was read as a header but then turned out not to have the right
2888 format); write it (remembering that it might contain binary zeros). The result
2889 of fwrite() isn't inspected; instead we call ferror() below. */
2890
2891 fprintf(data_file, "%s-D\n", message_id);
2892 if (next != NULL)
2893   {
2894   uschar *s = next->text;
2895   int len = next->slen;
2896   len = fwrite(s, 1, len, data_file);  len = len; /* compiler quietening */
2897   body_linecount++;                 /* Assumes only 1 line */
2898   }
2899
2900 /* Note that we might already be at end of file, or the logical end of file
2901 (indicated by '.'), or might have encountered an error while writing the
2902 message id or "next" line. */
2903
2904 if (!ferror(data_file) && !(receive_feof)() && message_ended != END_DOT)
2905   {
2906   if (smtp_input)
2907     {
2908     message_ended = read_message_data_smtp(data_file);
2909     receive_linecount++;                /* The terminating "." line */
2910     }
2911   else message_ended = read_message_data(data_file);
2912
2913   receive_linecount += body_linecount;  /* For BSMTP errors mainly */
2914   message_linecount += body_linecount;
2915
2916   /* Handle premature termination of SMTP */
2917
2918   if (smtp_input && message_ended == END_EOF)
2919     {
2920     Uunlink(spool_name);                     /* Lose data file when closed */
2921     cancel_cutthrough_connection("sender closed connection");
2922     message_id[0] = 0;                       /* Indicate no message accepted */
2923     smtp_reply = handle_lost_connection(US"");
2924     smtp_yield = FALSE;
2925     goto TIDYUP;                             /* Skip to end of function */
2926     }
2927
2928   /* Handle message that is too big. Don't use host_or_ident() in the log
2929   message; we want to see the ident value even for non-remote messages. */
2930
2931   if (message_ended == END_SIZE)
2932     {
2933     Uunlink(spool_name);                /* Lose the data file when closed */
2934     cancel_cutthrough_connection("mail too big");
2935     if (smtp_input) receive_swallow_smtp();  /* Swallow incoming SMTP */
2936
2937     log_write(L_size_reject, LOG_MAIN|LOG_REJECT, "rejected from <%s>%s%s%s%s: "
2938       "message too big: read=%d max=%d",
2939       sender_address,
2940       (sender_fullhost == NULL)? "" : " H=",
2941       (sender_fullhost == NULL)? US"" : sender_fullhost,
2942       (sender_ident == NULL)? "" : " U=",
2943       (sender_ident == NULL)? US"" : sender_ident,
2944       message_size,
2945       thismessage_size_limit);
2946
2947     if (smtp_input)
2948       {
2949       smtp_reply = US"552 Message size exceeds maximum permitted";
2950       message_id[0] = 0;               /* Indicate no message accepted */
2951       goto TIDYUP;                     /* Skip to end of function */
2952       }
2953     else
2954       {
2955       fseek(data_file, (long int)SPOOL_DATA_START_OFFSET, SEEK_SET);
2956       give_local_error(ERRMESS_TOOBIG,
2957         string_sprintf("message too big (max=%d)", thismessage_size_limit),
2958         US"message rejected: ", error_rc, data_file, header_list);
2959       /* Does not return */
2960       }
2961     }
2962   }
2963
2964 /* Restore the standard SIGALRM handler for any subsequent processing. (For
2965 example, there may be some expansion in an ACL that uses a timer.) */
2966
2967 os_non_restarting_signal(SIGALRM, sigalrm_handler);
2968
2969 /* The message body has now been read into the data file. Call fflush() to
2970 empty the buffers in C, and then call fsync() to get the data written out onto
2971 the disk, as fflush() doesn't do this (or at least, it isn't documented as
2972 having to do this). If there was an I/O error on either input or output,
2973 attempt to send an error message, and unlink the spool file. For non-SMTP input
2974 we can then give up. Note that for SMTP input we must swallow the remainder of
2975 the input in cases of output errors, since the far end doesn't expect to see
2976 anything until the terminating dot line is sent. */
2977
2978 if (fflush(data_file) == EOF || ferror(data_file) ||
2979     EXIMfsync(fileno(data_file)) < 0 || (receive_ferror)())
2980   {
2981   uschar *msg_errno = US strerror(errno);
2982   BOOL input_error = (receive_ferror)() != 0;
2983   uschar *msg = string_sprintf("%s error (%s) while receiving message from %s",
2984     input_error? "Input read" : "Spool write",
2985     msg_errno,
2986     (sender_fullhost != NULL)? sender_fullhost : sender_ident);
2987
2988   log_write(0, LOG_MAIN, "Message abandoned: %s", msg);
2989   Uunlink(spool_name);                /* Lose the data file */
2990   cancel_cutthrough_connection("error writing spoolfile");
2991
2992   if (smtp_input)
2993     {
2994     if (input_error)
2995       smtp_reply = US"451 Error while reading input data";
2996     else
2997       {
2998       smtp_reply = US"451 Error while writing spool file";
2999       receive_swallow_smtp();
3000       }
3001     message_id[0] = 0;               /* Indicate no message accepted */
3002     goto TIDYUP;                     /* Skip to end of function */
3003     }
3004
3005   else
3006     {
3007     fseek(data_file, (long int)SPOOL_DATA_START_OFFSET, SEEK_SET);
3008     give_local_error(ERRMESS_IOERR, msg, US"", error_rc, data_file,
3009       header_list);
3010     /* Does not return */
3011     }
3012   }
3013
3014
3015 /* No I/O errors were encountered while writing the data file. */
3016
3017 DEBUG(D_receive) debug_printf("Data file written for message %s\n", message_id);
3018
3019
3020 /* If there were any bad addresses extracted by -t, or there were no recipients
3021 left after -t, send a message to the sender of this message, or write it to
3022 stderr if the error handling option is set that way. Note that there may
3023 legitimately be no recipients for an SMTP message if they have all been removed
3024 by "discard".
3025
3026 We need to rewind the data file in order to read it. In the case of no
3027 recipients or stderr error writing, throw the data file away afterwards, and
3028 exit. (This can't be SMTP, which always ensures there's at least one
3029 syntactically good recipient address.) */
3030
3031 if (extract_recip && (bad_addresses != NULL || recipients_count == 0))
3032   {
3033   DEBUG(D_receive)
3034     {
3035     if (recipients_count == 0) debug_printf("*** No recipients\n");
3036     if (bad_addresses != NULL)
3037       {
3038       error_block *eblock = bad_addresses;
3039       debug_printf("*** Bad address(es)\n");
3040       while (eblock != NULL)
3041         {
3042         debug_printf("  %s: %s\n", eblock->text1, eblock->text2);
3043         eblock = eblock->next;
3044         }
3045       }
3046     }
3047
3048   fseek(data_file, (long int)SPOOL_DATA_START_OFFSET, SEEK_SET);
3049
3050   /* If configured to send errors to the sender, but this fails, force
3051   a failure error code. We use a special one for no recipients so that it
3052   can be detected by the autoreply transport. Otherwise error_rc is set to
3053   errors_sender_rc, which is EXIT_FAILURE unless -oee was given, in which case
3054   it is EXIT_SUCCESS. */
3055
3056   if (error_handling == ERRORS_SENDER)
3057     {
3058     if (!moan_to_sender(
3059           (bad_addresses == NULL)?
3060             (extracted_ignored? ERRMESS_IGADDRESS : ERRMESS_NOADDRESS) :
3061           (recipients_list == NULL)? ERRMESS_BADNOADDRESS : ERRMESS_BADADDRESS,
3062           bad_addresses, header_list, data_file, FALSE))
3063       error_rc = (bad_addresses == NULL)? EXIT_NORECIPIENTS : EXIT_FAILURE;
3064     }
3065   else
3066     {
3067     if (bad_addresses == NULL)
3068       {
3069       if (extracted_ignored)
3070         fprintf(stderr, "exim: all -t recipients overridden by command line\n");
3071       else
3072         fprintf(stderr, "exim: no recipients in message\n");
3073       }
3074     else
3075       {
3076       fprintf(stderr, "exim: invalid address%s",
3077         (bad_addresses->next == NULL)? ":" : "es:\n");
3078       while (bad_addresses != NULL)
3079         {
3080         fprintf(stderr, "  %s: %s\n", bad_addresses->text1,
3081           bad_addresses->text2);
3082         bad_addresses = bad_addresses->next;
3083         }
3084       }
3085     }
3086
3087   if (recipients_count == 0 || error_handling == ERRORS_STDERR)
3088     {
3089     Uunlink(spool_name);
3090     (void)fclose(data_file);
3091     exim_exit(error_rc);
3092     }
3093   }
3094
3095 /* Data file successfully written. Generate text for the Received: header by
3096 expanding the configured string, and adding a timestamp. By leaving this
3097 operation till now, we ensure that the timestamp is the time that message
3098 reception was completed. However, this is deliberately done before calling the
3099 data ACL and local_scan().
3100
3101 This Received: header may therefore be inspected by the data ACL and by code in
3102 the local_scan() function. When they have run, we update the timestamp to be
3103 the final time of reception.
3104
3105 If there is just one recipient, set up its value in the $received_for variable
3106 for use when we generate the Received: header.
3107
3108 Note: the checking for too many Received: headers is handled by the delivery
3109 code. */
3110 /*XXX eventually add excess Received: check for cutthrough case back when classifying them */
3111
3112 if (received_header->text == NULL)      /* Non-cutthrough case */
3113   {
3114   received_header_gen();
3115
3116   /* Set the value of message_body_size for the DATA ACL and for local_scan() */
3117
3118   message_body_size = (fstat(data_fd, &statbuf) == 0)?
3119     statbuf.st_size - SPOOL_DATA_START_OFFSET : -1;
3120
3121   /* If an ACL from any RCPT commands set up any warning headers to add, do so
3122   now, before running the DATA ACL. */
3123
3124   add_acl_headers(ACL_WHERE_RCPT, US"MAIL or RCPT");
3125   }
3126 else
3127   message_body_size = (fstat(data_fd, &statbuf) == 0)?
3128     statbuf.st_size - SPOOL_DATA_START_OFFSET : -1;
3129
3130 /* If an ACL is specified for checking things at this stage of reception of a
3131 message, run it, unless all the recipients were removed by "discard" in earlier
3132 ACLs. That is the only case in which recipients_count can be zero at this
3133 stage. Set deliver_datafile to point to the data file so that $message_body and
3134 $message_body_end can be extracted if needed. Allow $recipients in expansions.
3135 */
3136
3137 deliver_datafile = data_fd;
3138 user_msg = NULL;
3139
3140 enable_dollar_recipients = TRUE;
3141
3142 if (recipients_count == 0)
3143   {
3144   blackholed_by = recipients_discarded? US"MAIL ACL" : US"RCPT ACL";
3145   }
3146 else
3147   {
3148   /* Handle interactive SMTP messages */
3149
3150   if (smtp_input && !smtp_batched_input)
3151     {
3152
3153 #ifndef DISABLE_DKIM
3154     if (!dkim_disable_verify)
3155       {
3156       /* Finish verification, this will log individual signature results to
3157          the mainlog */
3158       dkim_exim_verify_finish();
3159
3160       /* Check if we must run the DKIM ACL */
3161       if ((acl_smtp_dkim != NULL) &&
3162           (dkim_verify_signers != NULL) &&
3163           (dkim_verify_signers[0] != '\0'))
3164         {
3165         uschar *dkim_verify_signers_expanded =
3166           expand_string(dkim_verify_signers);
3167         if (dkim_verify_signers_expanded == NULL)
3168           {
3169           log_write(0, LOG_MAIN|LOG_PANIC,
3170             "expansion of dkim_verify_signers option failed: %s",
3171             expand_string_message);
3172           }
3173         else
3174           {
3175           int sep = 0;
3176           uschar *ptr = dkim_verify_signers_expanded;
3177           uschar *item = NULL;
3178           uschar *seen_items = NULL;
3179           int     seen_items_size = 0;
3180           int     seen_items_offset = 0;
3181           uschar itembuf[256];
3182           /* Default to OK when no items are present */
3183           rc = OK;
3184           while ((item = string_nextinlist(&ptr, &sep,
3185                                            itembuf,
3186                                            sizeof(itembuf))))
3187             {
3188             /* Prevent running ACL for an empty item */
3189             if (!item || (item[0] == '\0')) continue;
3190
3191             /* Only run ACL once for each domain or identity,
3192             no matter how often it appears in the expanded list. */
3193             if (seen_items)
3194               {
3195               uschar *seen_item = NULL;
3196               uschar seen_item_buf[256];
3197               uschar *seen_items_list = seen_items;
3198               BOOL seen_this_item = FALSE;
3199
3200               while ((seen_item = string_nextinlist(&seen_items_list, &sep,
3201                                                     seen_item_buf,
3202                                                     sizeof(seen_item_buf))))
3203                 if (Ustrcmp(seen_item,item) == 0)
3204                   {
3205                   seen_this_item = TRUE;
3206                   break;
3207                   }
3208
3209               if (seen_this_item)
3210                 {
3211                 DEBUG(D_receive)
3212                   debug_printf("acl_smtp_dkim: skipping signer %s, "
3213                     "already seen\n", item);
3214                 continue;
3215                 }
3216
3217               seen_items = string_append(seen_items, &seen_items_size,
3218                 &seen_items_offset, 1, ":");
3219               }
3220
3221             seen_items = string_append(seen_items, &seen_items_size,
3222               &seen_items_offset, 1, item);
3223             seen_items[seen_items_offset] = '\0';
3224
3225             DEBUG(D_receive)
3226               debug_printf("calling acl_smtp_dkim for dkim_cur_signer=%s\n",
3227                 item);
3228
3229             dkim_exim_acl_setup(item);
3230             rc = acl_check(ACL_WHERE_DKIM, NULL, acl_smtp_dkim,
3231                   &user_msg, &log_msg);
3232
3233             if (rc != OK)
3234               {
3235               DEBUG(D_receive)
3236                 debug_printf("acl_smtp_dkim: acl_check returned %d on %s, "
3237                   "skipping remaining items\n", rc, item);
3238               cancel_cutthrough_connection("dkim acl not ok");
3239               break;
3240               }
3241             }
3242           add_acl_headers(ACL_WHERE_DKIM, US"DKIM");
3243           if (rc == DISCARD)
3244             {
3245             recipients_count = 0;
3246             blackholed_by = US"DKIM ACL";
3247             if (log_msg != NULL)
3248               blackhole_log_msg = string_sprintf(": %s", log_msg);
3249             }
3250           else if (rc != OK)
3251             {
3252             Uunlink(spool_name);
3253             if (smtp_handle_acl_fail(ACL_WHERE_DKIM, rc, user_msg, log_msg) != 0)
3254               smtp_yield = FALSE;    /* No more messsages after dropped connection */
3255             smtp_reply = US"";       /* Indicate reply already sent */
3256             message_id[0] = 0;       /* Indicate no message accepted */
3257             goto TIDYUP;             /* Skip to end of function */
3258             }
3259           }
3260         }
3261       }
3262 #endif /* DISABLE_DKIM */
3263
3264 #ifdef WITH_CONTENT_SCAN
3265     if (recipients_count > 0 &&
3266         acl_smtp_mime != NULL &&
3267         !run_mime_acl(acl_smtp_mime, &smtp_yield, &smtp_reply, &blackholed_by))
3268       goto TIDYUP;
3269 #endif /* WITH_CONTENT_SCAN */
3270
3271 #ifdef EXPERIMENTAL_DMARC
3272     dmarc_up = dmarc_store_data(from_header);
3273 #endif /* EXPERIMENTAL_DMARC */
3274
3275 #ifndef DISABLE_PRDR
3276     if (prdr_requested && recipients_count > 1 && acl_smtp_data_prdr)
3277       {
3278       unsigned int c;
3279       int all_pass = OK;
3280       int all_fail = FAIL;
3281
3282       smtp_printf("353 PRDR content analysis beginning\r\n");
3283       /* Loop through recipients, responses must be in same order received */
3284       for (c = 0; recipients_count > c; c++)
3285         {
3286         uschar * addr= recipients_list[c].address;
3287         uschar * msg= US"PRDR R=<%s> %s";
3288         uschar * code;
3289         DEBUG(D_receive)
3290           debug_printf("PRDR processing recipient %s (%d of %d)\n",
3291                        addr, c+1, recipients_count);
3292         rc = acl_check(ACL_WHERE_PRDR, addr,
3293                        acl_smtp_data_prdr, &user_msg, &log_msg);
3294
3295         /* If any recipient rejected content, indicate it in final message */
3296         all_pass |= rc;
3297         /* If all recipients rejected, indicate in final message */
3298         all_fail &= rc;
3299
3300         switch (rc)
3301           {
3302           case OK: case DISCARD: code = US"250"; break;
3303           case DEFER:            code = US"450"; break;
3304           default:               code = US"550"; break;
3305           }
3306         if (user_msg != NULL)
3307           smtp_user_msg(code, user_msg);
3308         else
3309           {
3310           switch (rc)
3311             {
3312             case OK: case DISCARD:
3313               msg = string_sprintf(CS msg, addr, "acceptance");        break;
3314             case DEFER:
3315               msg = string_sprintf(CS msg, addr, "temporary refusal"); break;
3316             default:
3317               msg = string_sprintf(CS msg, addr, "refusal");           break;
3318             }
3319           smtp_user_msg(code, msg);
3320           }
3321         if (log_msg)       log_write(0, LOG_MAIN, "PRDR %s %s", addr, log_msg);
3322         else if (user_msg) log_write(0, LOG_MAIN, "PRDR %s %s", addr, user_msg);
3323         else               log_write(0, LOG_MAIN, "%s", CS msg);
3324
3325         if (rc != OK) { receive_remove_recipient(addr); c--; }
3326         }
3327       /* Set up final message, used if data acl gives OK */
3328       smtp_reply = string_sprintf("%s id=%s message %s",
3329                        all_fail == FAIL ? US"550" : US"250",
3330                        message_id,
3331                        all_fail == FAIL
3332                          ? US"rejected for all recipients"
3333                          : all_pass == OK
3334                            ? US"accepted"
3335                            : US"accepted for some recipients");
3336       if (recipients_count == 0)
3337         {
3338         message_id[0] = 0;       /* Indicate no message accepted */
3339         goto TIDYUP;
3340         }
3341       }
3342     else
3343       prdr_requested = FALSE;
3344 #endif /* !DISABLE_PRDR */
3345
3346     /* Check the recipients count again, as the MIME ACL might have changed
3347     them. */
3348
3349     if (acl_smtp_data != NULL && recipients_count > 0)
3350       {
3351       rc = acl_check(ACL_WHERE_DATA, NULL, acl_smtp_data, &user_msg, &log_msg);
3352       add_acl_headers(ACL_WHERE_DATA, US"DATA");
3353       if (rc == DISCARD)
3354         {
3355         recipients_count = 0;
3356         blackholed_by = US"DATA ACL";
3357         if (log_msg != NULL)
3358           blackhole_log_msg = string_sprintf(": %s", log_msg);
3359         cancel_cutthrough_connection("data acl discard");
3360         }
3361       else if (rc != OK)
3362         {
3363         Uunlink(spool_name);
3364         cancel_cutthrough_connection("data acl not ok");
3365 #ifdef WITH_CONTENT_SCAN
3366         unspool_mbox();
3367 #endif
3368 #ifdef EXPERIMENTAL_DCC
3369         dcc_ok = 0;
3370 #endif
3371         if (smtp_handle_acl_fail(ACL_WHERE_DATA, rc, user_msg, log_msg) != 0)
3372           smtp_yield = FALSE;    /* No more messsages after dropped connection */
3373         smtp_reply = US"";       /* Indicate reply already sent */
3374         message_id[0] = 0;       /* Indicate no message accepted */
3375         goto TIDYUP;             /* Skip to end of function */
3376         }
3377       }
3378     }
3379
3380   /* Handle non-SMTP and batch SMTP (i.e. non-interactive) messages. Note that
3381   we cannot take different actions for permanent and temporary rejections. */
3382
3383   else
3384     {
3385
3386 #ifdef WITH_CONTENT_SCAN
3387     if (acl_not_smtp_mime != NULL &&
3388         !run_mime_acl(acl_not_smtp_mime, &smtp_yield, &smtp_reply,
3389           &blackholed_by))
3390       goto TIDYUP;
3391 #endif /* WITH_CONTENT_SCAN */
3392
3393     if (acl_not_smtp != NULL)
3394       {
3395       uschar *user_msg, *log_msg;
3396       rc = acl_check(ACL_WHERE_NOTSMTP, NULL, acl_not_smtp, &user_msg, &log_msg);
3397       if (rc == DISCARD)
3398         {
3399         recipients_count = 0;
3400         blackholed_by = US"non-SMTP ACL";
3401         if (log_msg != NULL)
3402           blackhole_log_msg = string_sprintf(": %s", log_msg);
3403         }
3404       else if (rc != OK)
3405         {
3406         Uunlink(spool_name);
3407 #ifdef WITH_CONTENT_SCAN
3408         unspool_mbox();
3409 #endif
3410 #ifdef EXPERIMENTAL_DCC
3411         dcc_ok = 0;
3412 #endif
3413         /* The ACL can specify where rejections are to be logged, possibly
3414         nowhere. The default is main and reject logs. */
3415
3416         if (log_reject_target != 0)
3417           log_write(0, log_reject_target, "F=<%s> rejected by non-SMTP ACL: %s",
3418             sender_address, log_msg);
3419
3420         if (user_msg == NULL) user_msg = US"local configuration problem";
3421         if (smtp_batched_input)
3422           {
3423           moan_smtp_batch(NULL, "%d %s", 550, user_msg);
3424           /* Does not return */
3425           }
3426         else
3427           {
3428           fseek(data_file, (long int)SPOOL_DATA_START_OFFSET, SEEK_SET);
3429           give_local_error(ERRMESS_LOCAL_ACL, user_msg,
3430             US"message rejected by non-SMTP ACL: ", error_rc, data_file,
3431               header_list);
3432           /* Does not return */
3433           }
3434         }
3435       add_acl_headers(ACL_WHERE_NOTSMTP, US"non-SMTP");
3436       }
3437     }
3438
3439   /* The applicable ACLs have been run */
3440
3441   if (deliver_freeze) frozen_by = US"ACL";     /* for later logging */
3442   if (queue_only_policy) queued_by = US"ACL";
3443   }
3444
3445 #ifdef WITH_CONTENT_SCAN
3446 unspool_mbox();
3447 #endif
3448
3449 #ifdef EXPERIMENTAL_DCC
3450 dcc_ok = 0;
3451 #endif
3452
3453
3454 /* The final check on the message is to run the scan_local() function. The
3455 version supplied with Exim always accepts, but this is a hook for sysadmins to
3456 supply their own checking code. The local_scan() function is run even when all
3457 the recipients have been discarded. */
3458
3459 lseek(data_fd, (long int)SPOOL_DATA_START_OFFSET, SEEK_SET);
3460
3461 /* Arrange to catch crashes in local_scan(), so that the -D file gets
3462 deleted, and the incident gets logged. */
3463
3464 os_non_restarting_signal(SIGSEGV, local_scan_crash_handler);
3465 os_non_restarting_signal(SIGFPE, local_scan_crash_handler);
3466 os_non_restarting_signal(SIGILL, local_scan_crash_handler);
3467 os_non_restarting_signal(SIGBUS, local_scan_crash_handler);
3468
3469 DEBUG(D_receive) debug_printf("calling local_scan(); timeout=%d\n",
3470   local_scan_timeout);
3471 local_scan_data = NULL;
3472
3473 os_non_restarting_signal(SIGALRM, local_scan_timeout_handler);
3474 if (local_scan_timeout > 0) alarm(local_scan_timeout);
3475 rc = local_scan(data_fd, &local_scan_data);
3476 alarm(0);
3477 os_non_restarting_signal(SIGALRM, sigalrm_handler);
3478
3479 enable_dollar_recipients = FALSE;
3480
3481 store_pool = POOL_MAIN;   /* In case changed */
3482 DEBUG(D_receive) debug_printf("local_scan() returned %d %s\n", rc,
3483   local_scan_data);
3484
3485 os_non_restarting_signal(SIGSEGV, SIG_DFL);
3486 os_non_restarting_signal(SIGFPE, SIG_DFL);
3487 os_non_restarting_signal(SIGILL, SIG_DFL);
3488 os_non_restarting_signal(SIGBUS, SIG_DFL);
3489
3490 /* The length check is paranoia against some runaway code, and also because
3491 (for a success return) lines in the spool file are read into big_buffer. */
3492
3493 if (local_scan_data != NULL)
3494   {
3495   int len = Ustrlen(local_scan_data);
3496   if (len > LOCAL_SCAN_MAX_RETURN) len = LOCAL_SCAN_MAX_RETURN;
3497   local_scan_data = string_copyn(local_scan_data, len);
3498   }
3499
3500 if (rc == LOCAL_SCAN_ACCEPT_FREEZE)
3501   {
3502   if (!deliver_freeze)         /* ACL might have already frozen */
3503     {
3504     deliver_freeze = TRUE;
3505     deliver_frozen_at = time(NULL);
3506     frozen_by = US"local_scan()";
3507     }
3508   rc = LOCAL_SCAN_ACCEPT;
3509   }
3510 else if (rc == LOCAL_SCAN_ACCEPT_QUEUE)
3511   {
3512   if (!queue_only_policy)      /* ACL might have already queued */
3513     {
3514     queue_only_policy = TRUE;
3515     queued_by = US"local_scan()";
3516     }
3517   rc = LOCAL_SCAN_ACCEPT;
3518   }
3519
3520 /* Message accepted: remove newlines in local_scan_data because otherwise
3521 the spool file gets corrupted. Ensure that all recipients are qualified. */
3522
3523 if (rc == LOCAL_SCAN_ACCEPT)
3524   {
3525   if (local_scan_data != NULL)
3526     {
3527     uschar *s;
3528     for (s = local_scan_data; *s != 0; s++) if (*s == '\n') *s = ' ';
3529     }
3530   for (i = 0; i < recipients_count; i++)
3531     {
3532     recipient_item *r = recipients_list + i;
3533     r->address = rewrite_address_qualify(r->address, TRUE);
3534     if (r->errors_to != NULL)
3535       r->errors_to = rewrite_address_qualify(r->errors_to, TRUE);
3536     }
3537   if (recipients_count == 0 && blackholed_by == NULL)
3538     blackholed_by = US"local_scan";
3539   }
3540
3541 /* Message rejected: newlines permitted in local_scan_data to generate
3542 multiline SMTP responses. */
3543
3544 else
3545   {
3546   uschar *istemp = US"";
3547   uschar *s = NULL;
3548   uschar *smtp_code;
3549   int size = 0;
3550   int sptr = 0;
3551
3552   errmsg = local_scan_data;
3553
3554   Uunlink(spool_name);          /* Cancel this message */
3555   switch(rc)
3556     {
3557     default:
3558     log_write(0, LOG_MAIN, "invalid return %d from local_scan(). Temporary "
3559       "rejection given", rc);
3560     goto TEMPREJECT;
3561
3562     case LOCAL_SCAN_REJECT_NOLOGHDR:
3563     log_extra_selector &= ~LX_rejected_header;
3564     /* Fall through */
3565
3566     case LOCAL_SCAN_REJECT:
3567     smtp_code = US"550";
3568     if (errmsg == NULL) errmsg =  US"Administrative prohibition";
3569     break;
3570
3571     case LOCAL_SCAN_TEMPREJECT_NOLOGHDR:
3572     log_extra_selector &= ~LX_rejected_header;
3573     /* Fall through */
3574
3575     case LOCAL_SCAN_TEMPREJECT:
3576     TEMPREJECT:
3577     smtp_code = US"451";
3578     if (errmsg == NULL) errmsg = US"Temporary local problem";
3579     istemp = US"temporarily ";
3580     break;
3581     }
3582
3583   s = string_append(s, &size, &sptr, 2, US"F=",
3584     (sender_address[0] == 0)? US"<>" : sender_address);
3585   s = add_host_info_for_log(s, &size, &sptr);
3586   s[sptr] = 0;
3587
3588   log_write(0, LOG_MAIN|LOG_REJECT, "%s %srejected by local_scan(): %.256s",
3589     s, istemp, string_printing(errmsg));
3590
3591   if (smtp_input)
3592     {
3593     if (!smtp_batched_input)
3594       {
3595       smtp_respond(smtp_code, 3, TRUE, errmsg);
3596       message_id[0] = 0;            /* Indicate no message accepted */
3597       smtp_reply = US"";            /* Indicate reply already sent */
3598       goto TIDYUP;                  /* Skip to end of function */
3599       }
3600     else
3601       {
3602       moan_smtp_batch(NULL, "%s %s", smtp_code, errmsg);
3603       /* Does not return */
3604       }
3605     }
3606   else
3607     {
3608     fseek(data_file, (long int)SPOOL_DATA_START_OFFSET, SEEK_SET);
3609     give_local_error(ERRMESS_LOCAL_SCAN, errmsg,
3610       US"message rejected by local scan code: ", error_rc, data_file,
3611         header_list);
3612     /* Does not return */
3613     }
3614   }
3615
3616 /* Reset signal handlers to ignore signals that previously would have caused
3617 the message to be abandoned. */
3618
3619 signal(SIGTERM, SIG_IGN);
3620 signal(SIGINT, SIG_IGN);
3621
3622
3623 /* Ensure the first time flag is set in the newly-received message. */
3624
3625 deliver_firsttime = TRUE;
3626
3627 #ifdef EXPERIMENTAL_BRIGHTMAIL
3628 if (bmi_run == 1) {
3629   /* rewind data file */
3630   lseek(data_fd, (long int)SPOOL_DATA_START_OFFSET, SEEK_SET);
3631   bmi_verdicts = bmi_process_message(header_list, data_fd);
3632 };
3633 #endif
3634
3635 /* Update the timstamp in our Received: header to account for any time taken by
3636 an ACL or by local_scan(). The new time is the time that all reception
3637 processing is complete. */
3638
3639 timestamp = expand_string(US"${tod_full}");
3640 tslen = Ustrlen(timestamp);
3641
3642 memcpy(received_header->text + received_header->slen - tslen - 1,
3643   timestamp, tslen);
3644
3645 /* In MUA wrapper mode, ignore queueing actions set by ACL or local_scan() */
3646
3647 if (mua_wrapper)
3648   {
3649   deliver_freeze = FALSE;
3650   queue_only_policy = FALSE;
3651   }
3652
3653 /* Keep the data file open until we have written the header file, in order to
3654 hold onto the lock. In a -bh run, or if the message is to be blackholed, we
3655 don't write the header file, and we unlink the data file. If writing the header
3656 file fails, we have failed to accept this message. */
3657
3658 if (host_checking || blackholed_by != NULL)
3659   {
3660   header_line *h;
3661   Uunlink(spool_name);
3662   msg_size = 0;                                  /* Compute size for log line */
3663   for (h = header_list; h != NULL; h = h->next)
3664     if (h->type != '*') msg_size += h->slen;
3665   }
3666
3667 /* Write the -H file */
3668
3669 else
3670   {
3671   if ((msg_size = spool_write_header(message_id, SW_RECEIVING, &errmsg)) < 0)
3672     {
3673     log_write(0, LOG_MAIN, "Message abandoned: %s", errmsg);
3674     Uunlink(spool_name);           /* Lose the data file */
3675
3676     if (smtp_input)
3677       {
3678       smtp_reply = US"451 Error in writing spool file";
3679       message_id[0] = 0;          /* Indicate no message accepted */
3680       goto TIDYUP;
3681       }
3682     else
3683       {
3684       fseek(data_file, (long int)SPOOL_DATA_START_OFFSET, SEEK_SET);
3685       give_local_error(ERRMESS_IOERR, errmsg, US"", error_rc, data_file,
3686         header_list);
3687       /* Does not return */
3688       }
3689     }
3690   }
3691
3692
3693 /* The message has now been successfully received. */
3694
3695 receive_messagecount++;
3696
3697 /* In SMTP sessions we may receive several in one connection. After each one,
3698 we wait for the clock to tick at the level of message-id granularity. This is
3699 so that the combination of time+pid is unique, even on systems where the pid
3700 can be re-used within our time interval. We can't shorten the interval without
3701 re-designing the message-id. See comments above where the message id is
3702 created. This is Something For The Future. */
3703
3704 message_id_tv.tv_usec = (message_id_tv.tv_usec/id_resolution) * id_resolution;
3705 exim_wait_tick(&message_id_tv, id_resolution);
3706
3707 /* Add data size to written header size. We do not count the initial file name
3708 that is in the file, but we do add one extra for the notional blank line that
3709 precedes the data. This total differs from message_size in that it include the
3710 added Received: header and any other headers that got created locally. */
3711
3712 fflush(data_file);
3713 fstat(data_fd, &statbuf);
3714
3715 msg_size += statbuf.st_size - SPOOL_DATA_START_OFFSET + 1;
3716
3717 /* Generate a "message received" log entry. We do this by building up a dynamic
3718 string as required. Since we commonly want to add two items at a time, use a
3719 macro to simplify the coding. We log the arrival of a new message while the
3720 file is still locked, just in case the machine is *really* fast, and delivers
3721 it first! Include any message id that is in the message - since the syntax of a
3722 message id is actually an addr-spec, we can use the parse routine to canonicize
3723 it. */
3724
3725 size = 256;
3726 sptr = 0;
3727 s = store_get(size);
3728
3729 s = string_append(s, &size, &sptr, 2, US"<= ",
3730   (sender_address[0] == 0)? US"<>" : sender_address);
3731 if (message_reference != NULL)
3732   s = string_append(s, &size, &sptr, 2, US" R=", message_reference);
3733
3734 s = add_host_info_for_log(s, &size, &sptr);
3735
3736 #ifdef SUPPORT_TLS
3737 if (log_extra_selector & LX_tls_cipher && tls_in.cipher)
3738   s = string_append(s, &size, &sptr, 2, US" X=", tls_in.cipher);
3739 if (log_extra_selector & LX_tls_certificate_verified && tls_in.cipher)
3740   s = string_append(s, &size, &sptr, 2, US" CV=",
3741     tls_in.certificate_verified? "yes":"no");
3742 if (log_extra_selector & LX_tls_peerdn && tls_in.peerdn)
3743   s = string_append(s, &size, &sptr, 3, US" DN=\"",
3744     string_printing(tls_in.peerdn), US"\"");
3745 if (log_extra_selector & LX_tls_sni && tls_in.sni)
3746   s = string_append(s, &size, &sptr, 3, US" SNI=\"",
3747     string_printing(tls_in.sni), US"\"");
3748 #endif
3749
3750 if (sender_host_authenticated)
3751   {
3752   s = string_append(s, &size, &sptr, 2, US" A=", sender_host_authenticated);
3753   if (authenticated_id != NULL)
3754     {
3755     s = string_append(s, &size, &sptr, 2, US":", authenticated_id);
3756     if (log_extra_selector & LX_smtp_mailauth  &&  authenticated_sender != NULL)
3757       s = string_append(s, &size, &sptr, 2, US":", authenticated_sender);
3758     }
3759   }
3760
3761 #ifndef DISABLE_PRDR
3762 if (prdr_requested)
3763   s = string_append(s, &size, &sptr, 1, US" PRDR");
3764 #endif
3765
3766 #ifdef EXPERIMENTAL_PROXY
3767 if (proxy_session &&  log_extra_selector & LX_proxy)
3768   s = string_append(s, &size, &sptr, 2, US" PRX=", proxy_host_address);
3769 #endif
3770
3771 sprintf(CS big_buffer, "%d", msg_size);
3772 s = string_append(s, &size, &sptr, 2, US" S=", big_buffer);
3773
3774 /* log 8BITMIME mode announced in MAIL_FROM
3775    0 ... no BODY= used
3776    7 ... 7BIT
3777    8 ... 8BITMIME */
3778 if (log_extra_selector & LX_8bitmime)
3779   {
3780   sprintf(CS big_buffer, "%d", body_8bitmime);
3781   s = string_append(s, &size, &sptr, 2, US" M8S=", big_buffer);
3782   }
3783
3784 /* If an addr-spec in a message-id contains a quoted string, it can contain
3785 any characters except " \ and CR and so in particular it can contain NL!
3786 Therefore, make sure we use a printing-characters only version for the log.
3787 Also, allow for domain literals in the message id. */
3788
3789 if (msgid_header != NULL)
3790   {
3791   uschar *old_id;
3792   BOOL save_allow_domain_literals = allow_domain_literals;
3793   allow_domain_literals = TRUE;
3794   old_id = parse_extract_address(Ustrchr(msgid_header->text, ':') + 1,
3795     &errmsg, &start, &end, &domain, FALSE);
3796   allow_domain_literals = save_allow_domain_literals;
3797   if (old_id != NULL)
3798     s = string_append(s, &size, &sptr, 2, US" id=", string_printing(old_id));
3799   }
3800
3801 /* If subject logging is turned on, create suitable printing-character
3802 text. By expanding $h_subject: we make use of the MIME decoding. */
3803
3804 if ((log_extra_selector & LX_subject) != 0 && subject_header != NULL)
3805   {
3806   int i;
3807   uschar *p = big_buffer;
3808   uschar *ss = expand_string(US"$h_subject:");
3809
3810   /* Backslash-quote any double quotes or backslashes so as to make a
3811   a C-like string, and turn any non-printers into escape sequences. */
3812
3813   *p++ = '\"';
3814   if (*ss != 0) for (i = 0; i < 100 && ss[i] != 0; i++)
3815     {
3816     if (ss[i] == '\"' || ss[i] == '\\') *p++ = '\\';
3817     *p++ = ss[i];
3818     }
3819   *p++ = '\"';
3820   *p = 0;
3821   s = string_append(s, &size, &sptr, 2, US" T=", string_printing(big_buffer));
3822   }
3823
3824 /* Terminate the string: string_cat() and string_append() leave room, but do
3825 not put the zero in. */
3826
3827 s[sptr] = 0;
3828
3829 /* Create a message log file if message logs are being used and this message is
3830 not blackholed. Write the reception stuff to it. We used to leave message log
3831 creation until the first delivery, but this has proved confusing for some
3832 people. */
3833
3834 if (message_logs && blackholed_by == NULL)
3835   {
3836   int fd;
3837
3838   sprintf(CS spool_name, "%s/msglog/%s/%s", spool_directory, message_subdir,
3839     message_id);
3840   fd = Uopen(spool_name, O_WRONLY|O_APPEND|O_CREAT, SPOOL_MODE);
3841
3842   if (fd < 0 && errno == ENOENT)
3843     {
3844     uschar temp[16];
3845     sprintf(CS temp, "msglog/%s", message_subdir);
3846     if (message_subdir[0] == 0) temp[6] = 0;
3847     (void)directory_make(spool_directory, temp, MSGLOG_DIRECTORY_MODE, TRUE);
3848     fd = Uopen(spool_name, O_WRONLY|O_APPEND|O_CREAT, SPOOL_MODE);
3849     }
3850
3851   if (fd < 0)
3852     {
3853     log_write(0, LOG_MAIN|LOG_PANIC, "Couldn't open message log %s: %s",
3854       spool_name, strerror(errno));
3855     }
3856
3857   else
3858     {
3859     FILE *message_log = fdopen(fd, "a");
3860     if (message_log == NULL)
3861       {
3862       log_write(0, LOG_MAIN|LOG_PANIC, "Couldn't fdopen message log %s: %s",
3863         spool_name, strerror(errno));
3864       (void)close(fd);
3865       }
3866     else
3867       {
3868       uschar *now = tod_stamp(tod_log);
3869       fprintf(message_log, "%s Received from %s\n", now, s+3);
3870       if (deliver_freeze) fprintf(message_log, "%s frozen by %s\n", now,
3871         frozen_by);
3872       if (queue_only_policy) fprintf(message_log,
3873         "%s no immediate delivery: queued by %s\n", now, queued_by);
3874       (void)fclose(message_log);
3875       }
3876     }
3877   }
3878
3879 /* Everything has now been done for a successful message except logging its
3880 arrival, and outputting an SMTP response. While writing to the log, set a flag
3881 to cause a call to receive_bomb_out() if the log cannot be opened. */
3882
3883 receive_call_bombout = TRUE;
3884
3885 /* Before sending an SMTP response in a TCP/IP session, we check to see if the
3886 connection has gone away. This can only be done if there is no unconsumed input
3887 waiting in the local input buffer. We can test for this by calling
3888 receive_smtp_buffered(). RFC 2920 (pipelining) explicitly allows for additional
3889 input to be sent following the final dot, so the presence of following input is
3890 not an error.
3891
3892 If the connection is still present, but there is no unread input for the
3893 socket, the result of a select() call will be zero. If, however, the connection
3894 has gone away, or if there is pending input, the result of select() will be
3895 non-zero. The two cases can be distinguished by trying to read the next input
3896 character. If we succeed, we can unread it so that it remains in the local
3897 buffer for handling later. If not, the connection has been lost.
3898
3899 Of course, since TCP/IP is asynchronous, there is always a chance that the
3900 connection will vanish between the time of this test and the sending of the
3901 response, but the chance of this happening should be small. */
3902
3903 if (smtp_input && sender_host_address != NULL && !sender_host_notsocket &&
3904     !receive_smtp_buffered())
3905   {
3906   struct timeval tv;
3907   fd_set select_check;
3908   FD_ZERO(&select_check);
3909   FD_SET(fileno(smtp_in), &select_check);
3910   tv.tv_sec = 0;
3911   tv.tv_usec = 0;
3912
3913   if (select(fileno(smtp_in) + 1, &select_check, NULL, NULL, &tv) != 0)
3914     {
3915     int c = (receive_getc)();
3916     if (c != EOF) (receive_ungetc)(c); else
3917       {
3918       uschar *msg = US"SMTP connection lost after final dot";
3919       smtp_reply = US"";    /* No attempt to send a response */
3920       smtp_yield = FALSE;   /* Nothing more on this connection */
3921
3922       /* Re-use the log line workspace */
3923
3924       sptr = 0;
3925       s = string_cat(s, &size, &sptr, msg, Ustrlen(msg));
3926       s = add_host_info_for_log(s, &size, &sptr);
3927       s[sptr] = 0;
3928       log_write(0, LOG_MAIN, "%s", s);
3929
3930       /* Delete the files for this aborted message. */
3931
3932       sprintf(CS spool_name, "%s/input/%s/%s-D", spool_directory,
3933         message_subdir, message_id);
3934       Uunlink(spool_name);
3935
3936       sprintf(CS spool_name, "%s/input/%s/%s-H", spool_directory,
3937         message_subdir, message_id);
3938       Uunlink(spool_name);
3939
3940       sprintf(CS spool_name, "%s/msglog/%s/%s", spool_directory,
3941         message_subdir, message_id);
3942       Uunlink(spool_name);
3943
3944       goto TIDYUP;
3945       }
3946     }
3947   }
3948
3949 /* The connection has not gone away; we really are going to take responsibility
3950 for this message. */
3951
3952 /* Cutthrough - had sender last-dot; assume we've sent (or bufferred) all
3953    data onward by now.
3954
3955    Send dot onward.  If accepted, wipe the spooled files, log as delivered and accept
3956    the sender's dot (below).
3957    If rejected: copy response to sender, wipe the spooled files, log approriately.
3958    If temp-reject: accept to sender, keep the spooled files.
3959
3960    Having the normal spool files lets us do data-filtering, and store/forward on temp-reject.
3961
3962    XXX We do not handle queue-only, freezing, or blackholes.
3963 */
3964 if(cutthrough.fd >= 0)
3965   {
3966   uschar * msg= cutthrough_finaldot();  /* Ask the target system to accept the messsage */
3967                                         /* Logging was done in finaldot() */
3968   switch(msg[0])
3969     {
3970     case '2':   /* Accept. Do the same to the source; dump any spoolfiles.   */
3971       cutthrough_done = ACCEPTED;
3972       break;                                    /* message_id needed for SMTP accept below */
3973
3974     default:    /* Unknown response, or error.  Treat as temp-reject.         */
3975     case '4':   /* Temp-reject. Keep spoolfiles and accept. */
3976       cutthrough_done = TMP_REJ;                /* Avoid the usual immediate delivery attempt */
3977       break;                                    /* message_id needed for SMTP accept below */
3978
3979     case '5':   /* Perm-reject.  Do the same to the source.  Dump any spoolfiles */
3980       smtp_reply= msg;          /* Pass on the exact error */
3981       cutthrough_done = PERM_REJ;
3982       break;
3983     }
3984   }
3985
3986 #ifndef DISABLE_PRDR
3987 if(!smtp_reply || prdr_requested)
3988 #else
3989 if(!smtp_reply)
3990 #endif
3991   {
3992   log_write(0, LOG_MAIN |
3993     (((log_extra_selector & LX_received_recipients) != 0)? LOG_RECIPIENTS : 0) |
3994     (((log_extra_selector & LX_received_sender) != 0)? LOG_SENDER : 0),
3995     "%s", s);
3996
3997   /* Log any control actions taken by an ACL or local_scan(). */
3998
3999   if (deliver_freeze) log_write(0, LOG_MAIN, "frozen by %s", frozen_by);
4000   if (queue_only_policy) log_write(L_delay_delivery, LOG_MAIN,
4001     "no immediate delivery: queued by %s", queued_by);
4002   }
4003 receive_call_bombout = FALSE;
4004
4005 store_reset(s);   /* The store for the main log message can be reused */
4006
4007 /* If the message is frozen, and freeze_tell is set, do the telling. */
4008
4009 if (deliver_freeze && freeze_tell != NULL && freeze_tell[0] != 0)
4010   {
4011   moan_tell_someone(freeze_tell, NULL, US"Message frozen on arrival",
4012     "Message %s was frozen on arrival by %s.\nThe sender is <%s>.\n",
4013     message_id, frozen_by, sender_address);
4014   }
4015
4016
4017 /* Either a message has been successfully received and written to the two spool
4018 files, or an error in writing the spool has occurred for an SMTP message, or
4019 an SMTP message has been rejected for policy reasons. (For a non-SMTP message
4020 we will have already given up because there's no point in carrying on!) In
4021 either event, we must now close (and thereby unlock) the data file. In the
4022 successful case, this leaves the message on the spool, ready for delivery. In
4023 the error case, the spool file will be deleted. Then tidy up store, interact
4024 with an SMTP call if necessary, and return.
4025
4026 A fflush() was done earlier in the expectation that any write errors on the
4027 data file will be flushed(!) out thereby. Nevertheless, it is theoretically
4028 possible for fclose() to fail - but what to do? What has happened to the lock
4029 if this happens? */
4030
4031
4032 TIDYUP:
4033 process_info[process_info_len] = 0;                /* Remove message id */
4034 if (data_file != NULL) (void)fclose(data_file);    /* Frees the lock */
4035
4036 /* Now reset signal handlers to their defaults */
4037
4038 signal(SIGTERM, SIG_DFL);
4039 signal(SIGINT, SIG_DFL);
4040
4041 /* Tell an SMTP caller the state of play, and arrange to return the SMTP return
4042 value, which defaults TRUE - meaning there may be more incoming messages from
4043 this connection. For non-SMTP callers (where there is only ever one message),
4044 the default is FALSE. */
4045
4046 if (smtp_input)
4047   {
4048   yield = smtp_yield;
4049
4050   /* Handle interactive SMTP callers. After several kinds of error, smtp_reply
4051   is set to the response that should be sent. When it is NULL, we generate
4052   default responses. After an ACL error or local_scan() error, the response has
4053   already been sent, and smtp_reply is an empty string to indicate this. */
4054
4055   if (!smtp_batched_input)
4056     {
4057     if (smtp_reply == NULL)
4058       {
4059       if (fake_response != OK)
4060         smtp_respond((fake_response == DEFER)? US"450" : US"550", 3, TRUE,
4061           fake_response_text);
4062
4063       /* An OK response is required; use "message" text if present. */
4064
4065       else if (user_msg != NULL)
4066         {
4067         uschar *code = US"250";
4068         int len = 3;
4069         smtp_message_code(&code, &len, &user_msg, NULL);
4070         smtp_respond(code, len, TRUE, user_msg);
4071         }
4072
4073       /* Default OK response */
4074
4075       else
4076         smtp_printf("250 OK id=%s\r\n", message_id);
4077       if (host_checking)
4078         fprintf(stdout,
4079           "\n**** SMTP testing: that is not a real message id!\n\n");
4080       }
4081
4082     /* smtp_reply is set non-empty */
4083
4084     else if (smtp_reply[0] != 0)
4085       {
4086       if (fake_response != OK && (smtp_reply[0] == '2'))
4087         smtp_respond((fake_response == DEFER)? US"450" : US"550", 3, TRUE,
4088           fake_response_text);
4089       else
4090         smtp_printf("%.1024s\r\n", smtp_reply);
4091       }
4092
4093     switch (cutthrough_done)
4094       {
4095       case ACCEPTED: log_write(0, LOG_MAIN, "Completed");/* Delivery was done */
4096       case PERM_REJ: {                                  /* Delete spool files */
4097               sprintf(CS spool_name, "%s/input/%s/%s-D", spool_directory,
4098                 message_subdir, message_id);
4099               Uunlink(spool_name);
4100               sprintf(CS spool_name, "%s/input/%s/%s-H", spool_directory,
4101                 message_subdir, message_id);
4102               Uunlink(spool_name);
4103               sprintf(CS spool_name, "%s/msglog/%s/%s", spool_directory,
4104                 message_subdir, message_id);
4105               Uunlink(spool_name);
4106               }
4107       case TMP_REJ: message_id[0] = 0;    /* Prevent a delivery from starting */
4108       default:break;
4109       }
4110     cutthrough.delivery = FALSE;
4111     }
4112
4113   /* For batched SMTP, generate an error message on failure, and do
4114   nothing on success. The function moan_smtp_batch() does not return -
4115   it exits from the program with a non-zero return code. */
4116
4117   else if (smtp_reply != NULL) moan_smtp_batch(NULL, "%s", smtp_reply);
4118   }
4119
4120
4121 /* If blackholing, we can immediately log this message's sad fate. The data
4122 file has already been unlinked, and the header file was never written to disk.
4123 We must now indicate that nothing was received, to prevent a delivery from
4124 starting. */
4125
4126 if (blackholed_by != NULL)
4127   {
4128   uschar *detail = (local_scan_data != NULL)?
4129     string_printing(local_scan_data) :
4130     string_sprintf("(%s discarded recipients)", blackholed_by);
4131   log_write(0, LOG_MAIN, "=> blackhole %s%s", detail, blackhole_log_msg);
4132   log_write(0, LOG_MAIN, "Completed");
4133   message_id[0] = 0;
4134   }
4135
4136 /* Reset headers so that logging of rejects for a subsequent message doesn't
4137 include them. It is also important to set header_last = NULL before exiting
4138 from this function, as this prevents certain rewrites that might happen during
4139 subsequent verifying (of another incoming message) from trying to add headers
4140 when they shouldn't. */
4141
4142 header_list = header_last = NULL;
4143
4144 return yield;  /* TRUE if more messages (SMTP only) */
4145 }
4146
4147 /* End of receive.c */