Merge branch 'master' into 4.next
[users/jgh/exim.git] / src / src / verify.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2017 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions concerned with verifying things. The original code for callout
9 caching was contributed by Kevin Fleming (but I hacked it around a bit). */
10
11
12 #include "exim.h"
13 #include "transports/smtp.h"
14
15 #define CUTTHROUGH_CMD_TIMEOUT  30      /* timeout for cutthrough-routing calls */
16 #define CUTTHROUGH_DATA_TIMEOUT 60      /* timeout for cutthrough-routing calls */
17 static smtp_outblock ctblock;
18 uschar ctbuffer[8192];
19
20
21 /* Structure for caching DNSBL lookups */
22
23 typedef struct dnsbl_cache_block {
24   time_t expiry;
25   dns_address *rhs;
26   uschar *text;
27   int rc;
28   BOOL text_set;
29 } dnsbl_cache_block;
30
31
32 /* Anchor for DNSBL cache */
33
34 static tree_node *dnsbl_cache = NULL;
35
36
37 /* Bits for match_type in one_check_dnsbl() */
38
39 #define MT_NOT 1
40 #define MT_ALL 2
41
42 static uschar cutthrough_response(int, char, uschar **, int);
43
44
45
46 /*************************************************
47 *          Retrieve a callout cache record       *
48 *************************************************/
49
50 /* If a record exists, check whether it has expired.
51
52 Arguments:
53   dbm_file          an open hints file
54   key               the record key
55   type              "address" or "domain"
56   positive_expire   expire time for positive records
57   negative_expire   expire time for negative records
58
59 Returns:            the cache record if a non-expired one exists, else NULL
60 */
61
62 static dbdata_callout_cache *
63 get_callout_cache_record(open_db *dbm_file, const uschar *key, uschar *type,
64   int positive_expire, int negative_expire)
65 {
66 BOOL negative;
67 int length, expire;
68 time_t now;
69 dbdata_callout_cache *cache_record;
70
71 if (!(cache_record = dbfn_read_with_length(dbm_file, key, &length)))
72   {
73   HDEBUG(D_verify) debug_printf("callout cache: no %s record found for %s\n", type, key);
74   return NULL;
75   }
76
77 /* We treat a record as "negative" if its result field is not positive, or if
78 it is a domain record and the postmaster field is negative. */
79
80 negative = cache_record->result != ccache_accept ||
81   (type[0] == 'd' && cache_record->postmaster_result == ccache_reject);
82 expire = negative? negative_expire : positive_expire;
83 now = time(NULL);
84
85 if (now - cache_record->time_stamp > expire)
86   {
87   HDEBUG(D_verify) debug_printf("callout cache: %s record expired for %s\n", type, key);
88   return NULL;
89   }
90
91 /* If this is a non-reject domain record, check for the obsolete format version
92 that doesn't have the postmaster and random timestamps, by looking at the
93 length. If so, copy it to a new-style block, replicating the record's
94 timestamp. Then check the additional timestamps. (There's no point wasting
95 effort if connections are rejected.) */
96
97 if (type[0] == 'd' && cache_record->result != ccache_reject)
98   {
99   if (length == sizeof(dbdata_callout_cache_obs))
100     {
101     dbdata_callout_cache *new = store_get(sizeof(dbdata_callout_cache));
102     memcpy(new, cache_record, length);
103     new->postmaster_stamp = new->random_stamp = new->time_stamp;
104     cache_record = new;
105     }
106
107   if (now - cache_record->postmaster_stamp > expire)
108     cache_record->postmaster_result = ccache_unknown;
109
110   if (now - cache_record->random_stamp > expire)
111     cache_record->random_result = ccache_unknown;
112   }
113
114 HDEBUG(D_verify) debug_printf("callout cache: found %s record for %s\n", type, key);
115 return cache_record;
116 }
117
118
119
120 /* Check the callout cache.
121 Options * pm_mailfrom may be modified by cache partial results.
122
123 Return: TRUE if result found
124 */
125
126 static BOOL
127 cached_callout_lookup(address_item * addr, uschar * address_key,
128   uschar * from_address, int * opt_ptr, uschar ** pm_ptr,
129   int * yield, uschar ** failure_ptr,
130   dbdata_callout_cache * new_domain_record, int * old_domain_res)
131 {
132 int options = *opt_ptr;
133 open_db dbblock;
134 open_db *dbm_file = NULL;
135
136 /* Open the callout cache database, it it exists, for reading only at this
137 stage, unless caching has been disabled. */
138
139 if (options & vopt_callout_no_cache)
140   {
141   HDEBUG(D_verify) debug_printf("callout cache: disabled by no_cache\n");
142   }
143 else if (!(dbm_file = dbfn_open(US"callout", O_RDWR, &dbblock, FALSE)))
144   {
145   HDEBUG(D_verify) debug_printf("callout cache: not available\n");
146   }
147 else
148   {
149   /* If a cache database is available see if we can avoid the need to do an
150   actual callout by making use of previously-obtained data. */
151
152   dbdata_callout_cache_address * cache_address_record;
153   dbdata_callout_cache * cache_record = get_callout_cache_record(dbm_file,
154       addr->domain, US"domain",
155       callout_cache_domain_positive_expire, callout_cache_domain_negative_expire);
156
157   /* If an unexpired cache record was found for this domain, see if the callout
158   process can be short-circuited. */
159
160   if (cache_record)
161     {
162     /* In most cases, if an early command (up to and including MAIL FROM:<>)
163     was rejected, there is no point carrying on. The callout fails. However, if
164     we are doing a recipient verification with use_sender or use_postmaster
165     set, a previous failure of MAIL FROM:<> doesn't count, because this time we
166     will be using a non-empty sender. We have to remember this situation so as
167     not to disturb the cached domain value if this whole verification succeeds
168     (we don't want it turning into "accept"). */
169
170     *old_domain_res = cache_record->result;
171
172     if (  cache_record->result == ccache_reject
173        || *from_address == 0 && cache_record->result == ccache_reject_mfnull)
174       {
175       setflag(addr, af_verify_nsfail);
176       HDEBUG(D_verify)
177         debug_printf("callout cache: domain gave initial rejection, or "
178           "does not accept HELO or MAIL FROM:<>\n");
179       setflag(addr, af_verify_nsfail);
180       addr->user_message = US"(result of an earlier callout reused).";
181       *yield = FAIL;
182       *failure_ptr = US"mail";
183       dbfn_close(dbm_file);
184       return TRUE;
185       }
186
187     /* If a previous check on a "random" local part was accepted, we assume
188     that the server does not do any checking on local parts. There is therefore
189     no point in doing the callout, because it will always be successful. If a
190     random check previously failed, arrange not to do it again, but preserve
191     the data in the new record. If a random check is required but hasn't been
192     done, skip the remaining cache processing. */
193
194     if (options & vopt_callout_random) switch(cache_record->random_result)
195       {
196       case ccache_accept:
197         HDEBUG(D_verify)
198           debug_printf("callout cache: domain accepts random addresses\n");
199         dbfn_close(dbm_file);
200         return TRUE;     /* Default yield is OK */
201
202       case ccache_reject:
203         HDEBUG(D_verify)
204           debug_printf("callout cache: domain rejects random addresses\n");
205         *opt_ptr = options & ~vopt_callout_random;
206         new_domain_record->random_result = ccache_reject;
207         new_domain_record->random_stamp = cache_record->random_stamp;
208         break;
209
210       default:
211         HDEBUG(D_verify)
212           debug_printf("callout cache: need to check random address handling "
213             "(not cached or cache expired)\n");
214         dbfn_close(dbm_file);
215         return FALSE;
216       }
217
218     /* If a postmaster check is requested, but there was a previous failure,
219     there is again no point in carrying on. If a postmaster check is required,
220     but has not been done before, we are going to have to do a callout, so skip
221     remaining cache processing. */
222
223     if (*pm_ptr)
224       {
225       if (cache_record->postmaster_result == ccache_reject)
226         {
227         setflag(addr, af_verify_pmfail);
228         HDEBUG(D_verify)
229           debug_printf("callout cache: domain does not accept "
230             "RCPT TO:<postmaster@domain>\n");
231         *yield = FAIL;
232         *failure_ptr = US"postmaster";
233         setflag(addr, af_verify_pmfail);
234         addr->user_message = US"(result of earlier verification reused).";
235         dbfn_close(dbm_file);
236         return TRUE;
237         }
238       if (cache_record->postmaster_result == ccache_unknown)
239         {
240         HDEBUG(D_verify)
241           debug_printf("callout cache: need to check RCPT "
242             "TO:<postmaster@domain> (not cached or cache expired)\n");
243         dbfn_close(dbm_file);
244         return FALSE;
245         }
246
247       /* If cache says OK, set pm_mailfrom NULL to prevent a redundant
248       postmaster check if the address itself has to be checked. Also ensure
249       that the value in the cache record is preserved (with its old timestamp).
250       */
251
252       HDEBUG(D_verify) debug_printf("callout cache: domain accepts RCPT "
253         "TO:<postmaster@domain>\n");
254       *pm_ptr = NULL;
255       new_domain_record->postmaster_result = ccache_accept;
256       new_domain_record->postmaster_stamp = cache_record->postmaster_stamp;
257       }
258     }
259
260   /* We can't give a result based on information about the domain. See if there
261   is an unexpired cache record for this specific address (combined with the
262   sender address if we are doing a recipient callout with a non-empty sender).
263   */
264
265   if (!(cache_address_record = (dbdata_callout_cache_address *)
266     get_callout_cache_record(dbm_file, address_key, US"address",
267       callout_cache_positive_expire, callout_cache_negative_expire)))
268     {
269     dbfn_close(dbm_file);
270     return FALSE;
271     }
272
273   if (cache_address_record->result == ccache_accept)
274     {
275     HDEBUG(D_verify)
276       debug_printf("callout cache: address record is positive\n");
277     }
278   else
279     {
280     HDEBUG(D_verify)
281       debug_printf("callout cache: address record is negative\n");
282     addr->user_message = US"Previous (cached) callout verification failure";
283     *failure_ptr = US"recipient";
284     *yield = FAIL;
285     }
286
287   /* Close the cache database while we actually do the callout for real. */
288
289   dbfn_close(dbm_file);
290   return TRUE;
291   }
292 return FALSE;
293 }
294
295
296 /* Write results to callout cache
297 */
298 static void
299 cache_callout_write(dbdata_callout_cache * dom_rec, const uschar * domain,
300   int done, dbdata_callout_cache_address * addr_rec, uschar * address_key)
301 {
302 open_db dbblock;
303 open_db *dbm_file = NULL;
304
305 /* If we get here with done == TRUE, a successful callout happened, and yield
306 will be set OK or FAIL according to the response to the RCPT command.
307 Otherwise, we looped through the hosts but couldn't complete the business.
308 However, there may be domain-specific information to cache in both cases.
309
310 The value of the result field in the new_domain record is ccache_unknown if
311 there was an error before or with MAIL FROM:, and errno was not zero,
312 implying some kind of I/O error. We don't want to write the cache in that case.
313 Otherwise the value is ccache_accept, ccache_reject, or ccache_reject_mfnull. */
314
315 if (dom_rec->result != ccache_unknown)
316   if (!(dbm_file = dbfn_open(US"callout", O_RDWR|O_CREAT, &dbblock, FALSE)))
317     {
318     HDEBUG(D_verify) debug_printf("callout cache: not available\n");
319     }
320   else
321     {
322     (void)dbfn_write(dbm_file, domain, dom_rec,
323       (int)sizeof(dbdata_callout_cache));
324     HDEBUG(D_verify) debug_printf("wrote callout cache domain record for %s:\n"
325       "  result=%d postmaster=%d random=%d\n",
326       domain,
327       dom_rec->result,
328       dom_rec->postmaster_result,
329       dom_rec->random_result);
330     }
331
332 /* If a definite result was obtained for the callout, cache it unless caching
333 is disabled. */
334
335 if (done  &&  addr_rec->result != ccache_unknown)
336   {
337   if (!dbm_file)
338     dbm_file = dbfn_open(US"callout", O_RDWR|O_CREAT, &dbblock, FALSE);
339   if (!dbm_file)
340     {
341     HDEBUG(D_verify) debug_printf("no callout cache available\n");
342     }
343   else
344     {
345     (void)dbfn_write(dbm_file, address_key, addr_rec,
346       (int)sizeof(dbdata_callout_cache_address));
347     HDEBUG(D_verify) debug_printf("wrote %s callout cache address record for %s\n",
348       addr_rec->result == ccache_accept ? "positive" : "negative",
349       address_key);
350     }
351   }
352
353 if (dbm_file) dbfn_close(dbm_file);
354 }
355
356
357 /* Cutthrough-multi.  If the existing cached cutthrough connection matches
358 the one we would make for a subsequent recipient, use it.  Send the RCPT TO
359 and check the result, nonpipelined as it may be wanted immediately for
360 recipient-verification.
361
362 It seems simpler to deal with this case separately from the main callout loop.
363 We will need to remember it has sent, or not, so that rcpt-acl tail code
364 can do it there for the non-rcpt-verify case.  For this we keep an addresscount.
365
366 Return: TRUE for a definitive result for the recipient
367 */
368 static int
369 cutthrough_multi(address_item * addr, host_item * host_list,
370   transport_feedback * tf, int * yield)
371 {
372 BOOL done = FALSE;
373 host_item * host;
374
375 if (addr->transport == cutthrough.addr.transport)
376   for (host = host_list; host; host = host->next)
377     if (Ustrcmp(host->address, cutthrough.host.address) == 0)
378       {
379       int host_af;
380       uschar *interface = NULL;  /* Outgoing interface to use; NULL => any */
381       int port = 25;
382
383       deliver_host = host->name;
384       deliver_host_address = host->address;
385       deliver_host_port = host->port;
386       deliver_domain = addr->domain;
387       transport_name = addr->transport->name;
388
389       host_af = Ustrchr(host->address, ':') ? AF_INET6 : AF_INET;
390
391       if (!smtp_get_interface(tf->interface, host_af, addr, &interface,
392               US"callout") ||
393           !smtp_get_port(tf->port, addr, &port, US"callout"))
394         log_write(0, LOG_MAIN|LOG_PANIC, "<%s>: %s", addr->address,
395           addr->message);
396
397       if (  (  interface == cutthrough.interface
398             || (  interface
399                && cutthrough.interface
400                && Ustrcmp(interface, cutthrough.interface) == 0
401             )  )
402          && port == cutthrough.host.port
403          )
404         {
405         uschar * resp = NULL;
406
407         /* Match!  Send the RCPT TO, set done from the response */
408         done =
409           smtp_write_command(&ctblock, SCMD_FLUSH, "RCPT TO:<%.1000s>\r\n",
410             transport_rcpt_address(addr,
411                addr->transport->rcpt_include_affixes)) >= 0 &&
412           cutthrough_response(cutthrough.fd, '2', &resp, CUTTHROUGH_DATA_TIMEOUT) == '2';
413
414         /* This would go horribly wrong if a callout fail was ignored by ACL.
415         We punt by abandoning cutthrough on a reject, like the
416         first-rcpt does. */
417
418         if (done)
419           {
420           address_item * na = store_get(sizeof(address_item));
421           *na = cutthrough.addr;
422           cutthrough.addr = *addr;
423           cutthrough.addr.host_used = &cutthrough.host;
424           cutthrough.addr.next = na;
425
426           cutthrough.nrcpt++;
427           }
428         else
429           {
430           cancel_cutthrough_connection(TRUE, US"recipient rejected");
431           if (!resp || errno == ETIMEDOUT)
432             {
433             HDEBUG(D_verify) debug_printf("SMTP timeout\n");
434             }
435           else if (errno == 0)
436             {
437             if (*resp == 0)
438               Ustrcpy(resp, US"connection dropped");
439
440             addr->message =
441               string_sprintf("response to \"%s\" was: %s",
442                 big_buffer, string_printing(resp));
443
444             addr->user_message =
445               string_sprintf("Callout verification failed:\n%s", resp);
446
447             /* Hard rejection ends the process */
448
449             if (resp[0] == '5')   /* Address rejected */
450               {
451               *yield = FAIL;
452               done = TRUE;
453               }
454             }
455           }
456         }
457       break;    /* host_list */
458       }
459 if (!done)
460   cancel_cutthrough_connection(TRUE, US"incompatible connection");
461 return done;
462 }
463
464
465 /*************************************************
466 *      Do callout verification for an address    *
467 *************************************************/
468
469 /* This function is called from verify_address() when the address has routed to
470 a host list, and a callout has been requested. Callouts are expensive; that is
471 why a cache is used to improve the efficiency.
472
473 Arguments:
474   addr              the address that's been routed
475   host_list         the list of hosts to try
476   tf                the transport feedback block
477
478   ifstring          "interface" option from transport, or NULL
479   portstring        "port" option from transport, or NULL
480   protocolstring    "protocol" option from transport, or NULL
481   callout           the per-command callout timeout
482   callout_overall   the overall callout timeout (if < 0 use 4*callout)
483   callout_connect   the callout connection timeout (if < 0 use callout)
484   options           the verification options - these bits are used:
485                       vopt_is_recipient => this is a recipient address
486                       vopt_callout_no_cache => don't use callout cache
487                       vopt_callout_fullpm => if postmaster check, do full one
488                       vopt_callout_random => do the "random" thing
489                       vopt_callout_recipsender => use real sender for recipient
490                       vopt_callout_recippmaster => use postmaster for recipient
491                       vopt_callout_hold         => lazy close connection
492   se_mailfrom         MAIL FROM address for sender verify; NULL => ""
493   pm_mailfrom         if non-NULL, do the postmaster check with this sender
494
495 Returns:            OK/FAIL/DEFER
496 */
497
498 static int
499 do_callout(address_item *addr, host_item *host_list, transport_feedback *tf,
500   int callout, int callout_overall, int callout_connect, int options,
501   uschar *se_mailfrom, uschar *pm_mailfrom)
502 {
503 int yield = OK;
504 int old_domain_cache_result = ccache_accept;
505 BOOL done = FALSE;
506 uschar *address_key;
507 uschar *from_address;
508 uschar *random_local_part = NULL;
509 const uschar *save_deliver_domain = deliver_domain;
510 uschar **failure_ptr = options & vopt_is_recipient
511   ? &recipient_verify_failure : &sender_verify_failure;
512 dbdata_callout_cache new_domain_record;
513 dbdata_callout_cache_address new_address_record;
514 time_t callout_start_time;
515
516 new_domain_record.result = ccache_unknown;
517 new_domain_record.postmaster_result = ccache_unknown;
518 new_domain_record.random_result = ccache_unknown;
519
520 memset(&new_address_record, 0, sizeof(new_address_record));
521
522 /* For a recipient callout, the key used for the address cache record must
523 include the sender address if we are using the real sender in the callout,
524 because that may influence the result of the callout. */
525
526 if (options & vopt_is_recipient)
527   if (options & vopt_callout_recipsender)
528     {
529     from_address = sender_address;
530     address_key = string_sprintf("%s/<%s>", addr->address, sender_address);
531     if (cutthrough.delivery) options |= vopt_callout_no_cache;
532     }
533   else if (options & vopt_callout_recippmaster)
534     {
535     from_address = string_sprintf("postmaster@%s", qualify_domain_sender);
536     address_key = string_sprintf("%s/<postmaster@%s>", addr->address,
537       qualify_domain_sender);
538     }
539   else
540     {
541     from_address = US"";
542     address_key = addr->address;
543     }
544
545 /* For a sender callout, we must adjust the key if the mailfrom address is not
546 empty. */
547
548 else
549   {
550   from_address = se_mailfrom ? se_mailfrom : US"";
551   address_key = *from_address
552     ? string_sprintf("%s/<%s>", addr->address, from_address) : addr->address;
553   }
554
555 if (cached_callout_lookup(addr, address_key, from_address,
556       &options, &pm_mailfrom, &yield, failure_ptr,
557       &new_domain_record, &old_domain_cache_result))
558   {
559   cancel_cutthrough_connection(TRUE, US"cache-hit");
560   goto END_CALLOUT;
561   }
562
563 if (!addr->transport)
564   {
565   HDEBUG(D_verify) debug_printf("cannot callout via null transport\n");
566   }
567 else if (Ustrcmp(addr->transport->driver_name, "smtp") != 0)
568   log_write(0, LOG_MAIN|LOG_PANIC|LOG_CONFIG_FOR, "callout transport '%s': %s is non-smtp",
569     addr->transport->name, addr->transport->driver_name);
570 else
571   {
572   smtp_transport_options_block *ob =
573     (smtp_transport_options_block *)addr->transport->options_block;
574   host_item * host;
575
576   /* The information wasn't available in the cache, so we have to do a real
577   callout and save the result in the cache for next time, unless no_cache is set,
578   or unless we have a previously cached negative random result. If we are to test
579   with a random local part, ensure that such a local part is available. If not,
580   log the fact, but carry on without randomising. */
581
582   if (options & vopt_callout_random  &&  callout_random_local_part)
583     if (!(random_local_part = expand_string(callout_random_local_part)))
584       log_write(0, LOG_MAIN|LOG_PANIC, "failed to expand "
585         "callout_random_local_part: %s", expand_string_message);
586
587   /* Default the connect and overall callout timeouts if not set, and record the
588   time we are starting so that we can enforce it. */
589
590   if (callout_overall < 0) callout_overall = 4 * callout;
591   if (callout_connect < 0) callout_connect = callout;
592   callout_start_time = time(NULL);
593
594   /* Before doing a real callout, if this is an SMTP connection, flush the SMTP
595   output because a callout might take some time. When PIPELINING is active and
596   there are many recipients, the total time for doing lots of callouts can add up
597   and cause the client to time out. So in this case we forgo the PIPELINING
598   optimization. */
599
600   if (smtp_out && !disable_callout_flush) mac_smtp_fflush();
601
602   clearflag(addr, af_verify_pmfail);  /* postmaster callout flag */
603   clearflag(addr, af_verify_nsfail);  /* null sender callout flag */
604
605 /* cutthrough-multi: if a nonfirst rcpt has the same routing as the first,
606 and we are holding a cutthrough conn open, we can just append the rcpt to
607 that conn for verification purposes (and later delivery also).  Simplest
608 coding means skipping this whole loop and doing the append separately.  */
609
610   /* Can we re-use an open cutthrough connection? */
611   if (  cutthrough.fd >= 0
612      && (options & (vopt_callout_recipsender | vopt_callout_recippmaster))
613         == vopt_callout_recipsender
614      && !random_local_part
615      && !pm_mailfrom
616      )
617     done = cutthrough_multi(addr, host_list, tf, &yield);
618
619   /* If we did not use a cached connection, make connections to the hosts
620   and do real callouts. The list of hosts is passed in as an argument. */
621
622   for (host = host_list; host && !done; host = host->next)
623     {
624     int host_af;
625     int port = 25;
626     uschar *interface = NULL;  /* Outgoing interface to use; NULL => any */
627     smtp_context sx;
628
629     if (!host->address)
630       {
631       DEBUG(D_verify) debug_printf("no IP address for host name %s: skipping\n",
632         host->name);
633       continue;
634       }
635
636     /* Check the overall callout timeout */
637
638     if (time(NULL) - callout_start_time >= callout_overall)
639       {
640       HDEBUG(D_verify) debug_printf("overall timeout for callout exceeded\n");
641       break;
642       }
643
644     /* Set IPv4 or IPv6 */
645
646     host_af = Ustrchr(host->address, ':') ? AF_INET6 : AF_INET;
647
648     /* Expand and interpret the interface and port strings. The latter will not
649     be used if there is a host-specific port (e.g. from a manualroute router).
650     This has to be delayed till now, because they may expand differently for
651     different hosts. If there's a failure, log it, but carry on with the
652     defaults. */
653
654     deliver_host = host->name;
655     deliver_host_address = host->address;
656     deliver_host_port = host->port;
657     deliver_domain = addr->domain;
658     transport_name = addr->transport->name;
659
660     if (  !smtp_get_interface(tf->interface, host_af, addr, &interface,
661             US"callout")
662        || !smtp_get_port(tf->port, addr, &port, US"callout")
663        )
664       log_write(0, LOG_MAIN|LOG_PANIC, "<%s>: %s", addr->address,
665         addr->message);
666
667     sx.addrlist = addr;
668     sx.host = host;
669     sx.host_af = host_af,
670     sx.port = port;
671     sx.interface = interface;
672     sx.helo_data = tf->helo_data;
673     sx.tblock = addr->transport;
674     sx.verify = TRUE;
675
676 tls_retry_connection:
677     /* Set the address state so that errors are recorded in it */
678
679     addr->transport_return = PENDING_DEFER;
680     ob->connect_timeout = callout_connect;
681     ob->command_timeout = callout;
682
683     /* Get the channel set up ready for a message (MAIL FROM being the next
684     SMTP command to send.  If we tried TLS but it failed, try again without
685     if permitted */
686
687     yield = smtp_setup_conn(&sx, FALSE);
688 #ifdef SUPPORT_TLS
689     if (  yield == DEFER
690        && addr->basic_errno == ERRNO_TLSFAILURE
691        && ob->tls_tempfail_tryclear
692        && verify_check_given_host(&ob->hosts_require_tls, host) != OK
693        )
694       {
695       log_write(0, LOG_MAIN,
696         "%s: callout unencrypted to %s [%s] (not in hosts_require_tls)",
697         addr->message, host->name, host->address);
698       addr->transport_return = PENDING_DEFER;
699       yield = smtp_setup_conn(&sx, TRUE);
700       }
701 #endif
702     if (yield != OK)
703       {
704       errno = addr->basic_errno;
705       transport_name = NULL;
706       deliver_host = deliver_host_address = NULL;
707       deliver_domain = save_deliver_domain;
708
709       /* Failure to accept HELO is cached; this blocks the whole domain for all
710       senders. I/O errors and defer responses are not cached. */
711
712       if (yield == FAIL && (errno == 0 || errno == ERRNO_SMTPCLOSED))
713         {
714         setflag(addr, af_verify_nsfail);
715         new_domain_record.result = ccache_reject;
716         done = TRUE;
717         }
718       else
719         done = FALSE;
720       goto no_conn;
721       }
722
723     /* If we needed to authenticate, smtp_setup_conn() did that.  Copy
724     the AUTH info for logging */
725
726     addr->authenticator = client_authenticator;
727     addr->auth_id = client_authenticated_id;
728
729     sx.from_addr = from_address;
730     sx.first_addr = sx.sync_addr = addr;
731     sx.ok = FALSE;                      /*XXX these 3 last might not be needed for verify? */
732     sx.send_rset = TRUE;
733     sx.completed_addr = FALSE;
734
735     new_domain_record.result = old_domain_cache_result == ccache_reject_mfnull
736       ? ccache_reject_mfnull : ccache_accept;
737
738     /* Do the random local part check first. Temporarily replace the recipient
739     with the "random" value */
740
741     if (random_local_part)
742       {
743       uschar * main_address = addr->address;
744       const uschar * rcpt_domain = addr->domain;
745
746 #ifdef SUPPORT_I18N
747       uschar * errstr = NULL;
748       if (  testflag(addr, af_utf8_downcvt)
749          && (rcpt_domain = string_domain_utf8_to_alabel(rcpt_domain,
750                                     &errstr), errstr)
751          )
752         {
753         addr->message = errstr;
754         errno = ERRNO_EXPANDFAIL;
755         setflag(addr, af_verify_nsfail);
756         done = FALSE;
757         rcpt_domain = US"";  /*XXX errorhandling! */
758         }
759 #endif
760
761       /* This would be ok for 1st rcpt of a cutthrough (the case handled here;
762       subsequents are done in cutthrough_multi()), but no way to
763       handle a subsequent because of the RSET vaporising the MAIL FROM.
764       So refuse to support any.  Most cutthrough use will not involve
765       random_local_part, so no loss. */
766       cancel_cutthrough_connection(TRUE, US"random-recipient");
767
768       addr->address = string_sprintf("%s@%.1000s",
769                                     random_local_part, rcpt_domain);
770       done = FALSE;
771
772       /* If accepted, we aren't going to do any further tests below.
773       Otherwise, cache a real negative response, and get back to the right
774       state to send RCPT. Unless there's some problem such as a dropped
775       connection, we expect to succeed, because the commands succeeded above.
776       However, some servers drop the connection after responding to an
777       invalid recipient, so on (any) error we drop and remake the connection.
778       XXX We don't care about that for postmaster_full.  Should we?
779
780       XXX could we add another flag to the context, and have the common
781       code emit the RSET too?  Even pipelined after the RCPT...
782       Then the main-verify call could use it if there's to be a subsequent
783       postmaster-verify.
784       The sync_responses() would need to be taught about it and we'd
785       need another return code filtering out to here.
786
787       Avoid using a SIZE option on the MAIL for all randon-rcpt checks.
788       */
789
790       sx.avoid_option = OPTION_SIZE;
791
792       /* Remember when we last did a random test */
793       new_domain_record.random_stamp = time(NULL);
794
795       if (smtp_write_mail_and_rcpt_cmds(&sx, &yield) == 0)
796         switch(addr->transport_return)
797           {
798           case PENDING_OK:      /* random was accepted, unfortunately */
799             new_domain_record.random_result = ccache_accept;
800             yield = OK;         /* Only usable verify result we can return */
801             done = TRUE;
802             goto no_conn;
803           case FAIL:            /* rejected: the preferred result */
804             new_domain_record.random_result = ccache_reject;
805             sx.avoid_option = 0;
806
807             /* Between each check, issue RSET, because some servers accept only
808             one recipient after MAIL FROM:<>.
809             XXX We don't care about that for postmaster_full.  Should we? */
810
811             if ((done =
812               smtp_write_command(&sx.outblock, SCMD_FLUSH, "RSET\r\n") >= 0 &&
813               smtp_read_response(&sx.inblock, sx.buffer, sizeof(sx.buffer),
814                 '2', callout)))
815               break;
816
817             HDEBUG(D_acl|D_v)
818               debug_printf_indent("problem after random/rset/mfrom; reopen conn\n");
819             random_local_part = NULL;
820 #ifdef SUPPORT_TLS
821             tls_close(FALSE, TRUE);
822 #endif
823             HDEBUG(D_transport|D_acl|D_v) debug_printf_indent("  SMTP(close)>>\n");
824             (void)close(sx.inblock.sock);
825             sx.inblock.sock = sx.outblock.sock = -1;
826 #ifndef DISABLE_EVENT
827             (void) event_raise(addr->transport->event_action,
828                               US"tcp:close", NULL);
829 #endif
830             addr->address = main_address;
831             addr->transport_return = PENDING_DEFER;
832             sx.first_addr = sx.sync_addr = addr;
833             sx.ok = FALSE;
834             sx.send_rset = TRUE;
835             sx.completed_addr = FALSE;
836             goto tls_retry_connection;
837           case DEFER:           /* 4xx response to random */
838             break;              /* Just to be clear. ccache_unknown, !done. */
839           }
840
841       /* Re-setup for main verify, or for the error message when failing */
842       addr->address = main_address;
843       addr->transport_return = PENDING_DEFER;
844       sx.first_addr = sx.sync_addr = addr;
845       sx.ok = FALSE;
846       sx.send_rset = TRUE;
847       sx.completed_addr = FALSE;
848       }
849     else
850       done = TRUE;
851
852     /* Main verify.  For rcpt-verify use SIZE if we know it and we're not cacheing;
853     for sndr-verify never use it. */
854
855     if (done)
856       {
857       if (!(options & vopt_is_recipient  &&  options & vopt_callout_no_cache))
858         sx.avoid_option = OPTION_SIZE;
859
860       done = FALSE;
861       switch(smtp_write_mail_and_rcpt_cmds(&sx, &yield))
862         {
863         case 0:  switch(addr->transport_return) /* ok so far */
864                     {
865                     case PENDING_OK:  done = TRUE;
866                                       new_address_record.result = ccache_accept;
867                                       break;
868                     case FAIL:      done = TRUE;
869                                       yield = FAIL;
870                                       *failure_ptr = US"recipient";
871                                       new_address_record.result = ccache_reject;
872                                       break;
873                     default:        break;
874                     }
875                   break;
876
877         case -1:                                /* MAIL response error */
878                   *failure_ptr = US"mail";
879                   if (errno == 0 && sx.buffer[0] == '5')
880                     {
881                     setflag(addr, af_verify_nsfail);
882                     if (from_address[0] == 0)
883                       new_domain_record.result = ccache_reject_mfnull;
884                     }
885                   break;
886                                                 /* non-MAIL read i/o error */
887                                                 /* non-MAIL response timeout */
888                                                 /* internal error; channel still usable */
889         default:  break;                        /* transmit failed */
890         }
891       }
892
893     addr->auth_sndr = client_authenticated_sender;
894
895     deliver_host = deliver_host_address = NULL;
896     deliver_domain = save_deliver_domain;
897
898     /* Do postmaster check if requested; if a full check is required, we
899     check for RCPT TO:<postmaster> (no domain) in accordance with RFC 821. */
900
901     if (done && pm_mailfrom)
902       {
903       /* Could possibly shift before main verify, just above, and be ok
904       for cutthrough.  But no way to handle a subsequent rcpt, so just
905       refuse any */
906       cancel_cutthrough_connection(TRUE, US"postmaster verify");
907       HDEBUG(D_acl|D_v) debug_printf_indent("Cutthrough cancelled by presence of postmaster verify\n");
908
909       done = smtp_write_command(&sx.outblock, SCMD_FLUSH, "RSET\r\n") >= 0
910           && smtp_read_response(&sx.inblock, sx.buffer,
911                                 sizeof(sx.buffer), '2', callout);
912
913       if (done)
914         {
915         uschar * main_address = addr->address;
916
917         /*XXX oops, affixes */
918         addr->address = string_sprintf("postmaster@%.1000s", addr->domain);
919         addr->transport_return = PENDING_DEFER;
920
921         sx.from_addr = pm_mailfrom;
922         sx.first_addr = sx.sync_addr = addr;
923         sx.ok = FALSE;
924         sx.send_rset = TRUE;
925         sx.completed_addr = FALSE;
926         sx.avoid_option = OPTION_SIZE;
927
928         if(  smtp_write_mail_and_rcpt_cmds(&sx, &yield) == 0
929           && addr->transport_return == PENDING_OK
930           )
931           done = TRUE;
932         else
933           done = (options & vopt_callout_fullpm) != 0
934               && smtp_write_command(&sx.outblock, SCMD_FLUSH,
935                             "RCPT TO:<postmaster>\r\n") >= 0
936               && smtp_read_response(&sx.inblock, sx.buffer,
937                             sizeof(sx.buffer), '2', callout);
938
939         /* Sort out the cache record */
940
941         new_domain_record.postmaster_stamp = time(NULL);
942
943         if (done)
944           new_domain_record.postmaster_result = ccache_accept;
945         else if (errno == 0 && sx.buffer[0] == '5')
946           {
947           *failure_ptr = US"postmaster";
948           setflag(addr, af_verify_pmfail);
949           new_domain_record.postmaster_result = ccache_reject;
950           }
951
952         addr->address = main_address;
953         }
954       }
955     /* For any failure of the main check, other than a negative response, we just
956     close the connection and carry on. We can identify a negative response by the
957     fact that errno is zero. For I/O errors it will be non-zero
958
959     Set up different error texts for logging and for sending back to the caller
960     as an SMTP response. Log in all cases, using a one-line format. For sender
961     callouts, give a full response to the caller, but for recipient callouts,
962     don't give the IP address because this may be an internal host whose identity
963     is not to be widely broadcast. */
964
965 no_conn:
966     switch(errno)
967       {
968       case ETIMEDOUT:
969         HDEBUG(D_verify) debug_printf("SMTP timeout\n");
970         sx.send_quit = FALSE;
971         break;
972
973 #ifdef SUPPORT_I18N
974       case ERRNO_UTF8_FWD:
975         {
976         extern int acl_where;   /* src/acl.c */
977         errno = 0;
978         addr->message = string_sprintf(
979             "response to \"EHLO\" did not include SMTPUTF8");
980         addr->user_message = acl_where == ACL_WHERE_RCPT
981           ? US"533 no support for internationalised mailbox name"
982           : US"550 mailbox unavailable";
983         yield = FAIL;
984         done = TRUE;
985         }
986         break;
987 #endif
988       case ECONNREFUSED:
989         sx.send_quit = FALSE;
990         break;
991
992       case 0:
993         if (*sx.buffer == 0) Ustrcpy(sx.buffer, US"connection dropped");
994
995         /*XXX test here is ugly; seem to have a split of responsibility for
996         building this message.  Need to rationalise.  Where is it done
997         before here, and when not?
998         Not == 5xx resp to MAIL on main-verify
999         */
1000         if (!addr->message) addr->message =
1001           string_sprintf("response to \"%s\" was: %s",
1002                           big_buffer, string_printing(sx.buffer));
1003
1004         addr->user_message = options & vopt_is_recipient
1005           ? string_sprintf("Callout verification failed:\n%s", sx.buffer)
1006           : string_sprintf("Called:   %s\nSent:     %s\nResponse: %s",
1007             host->address, big_buffer, sx.buffer);
1008
1009         /* Hard rejection ends the process */
1010
1011         if (sx.buffer[0] == '5')   /* Address rejected */
1012           {
1013           yield = FAIL;
1014           done = TRUE;
1015           }
1016         break;
1017       }
1018
1019     /* End the SMTP conversation and close the connection. */
1020
1021     /* Cutthrough - on a successful connect and recipient-verify with
1022     use-sender and we are 1st rcpt and have no cutthrough conn so far
1023     here is where we want to leave the conn open.  Ditto for a lazy-close
1024     verify. */
1025
1026     if (  (cutthrough.delivery || options & vopt_callout_hold)
1027        && rcpt_count == 1
1028        && done
1029        && yield == OK
1030        &&    (options & (vopt_callout_recipsender|vopt_callout_recippmaster|vopt_success_on_redirect))
1031            == vopt_callout_recipsender
1032        && !random_local_part
1033        && !pm_mailfrom
1034        && cutthrough.fd < 0
1035        && !sx.lmtp
1036        )
1037       {
1038       HDEBUG(D_acl|D_v) debug_printf_indent("holding verify callout open for %s\n",
1039         cutthrough.delivery
1040         ? "cutthrough delivery" : "potential further verifies and delivery");
1041
1042       cutthrough.callout_hold_only = !cutthrough.delivery;
1043       cutthrough.is_tls =       tls_out.active >= 0;
1044       cutthrough.fd =   sx.outblock.sock;       /* We assume no buffer in use in the outblock */
1045       cutthrough.nrcpt =        1;
1046       cutthrough.transport =    addr->transport->name;
1047       cutthrough.interface =    interface;
1048       cutthrough.snd_port =     sending_port;
1049       cutthrough.peer_options = smtp_peer_options;
1050       cutthrough.host =         *host;
1051         {
1052         int oldpool = store_pool;
1053         store_pool = POOL_PERM;
1054         cutthrough.snd_ip = string_copy(sending_ip_address);
1055         cutthrough.host.name = string_copy(host->name);
1056         cutthrough.host.address = string_copy(host->address);
1057         store_pool = oldpool;
1058         }
1059       cutthrough.addr =         *addr;          /* Save the address_item for later logging */
1060       cutthrough.addr.next =    NULL;
1061       cutthrough.addr.host_used = &cutthrough.host;
1062       if (addr->parent)
1063         *(cutthrough.addr.parent = store_get(sizeof(address_item))) =
1064           *addr->parent;
1065       ctblock.buffer = ctbuffer;
1066       ctblock.buffersize = sizeof(ctbuffer);
1067       ctblock.ptr = ctbuffer;
1068       /* ctblock.cmd_count = 0; ctblock.authenticating = FALSE; */
1069       ctblock.sock = cutthrough.fd;
1070       }
1071     else
1072       {
1073       /* Ensure no cutthrough on multiple verifies that were incompatible */
1074       if (options & vopt_callout_recipsender)
1075         cancel_cutthrough_connection(TRUE, US"not usable for cutthrough");
1076       if (sx.send_quit)
1077         {
1078         (void) smtp_write_command(&sx.outblock, SCMD_FLUSH, "QUIT\r\n");
1079
1080         /* Wait a short time for response, and discard it */
1081         smtp_read_response(&sx.inblock, sx.buffer, sizeof(sx.buffer),
1082           '2', 1);
1083         }
1084
1085       if (sx.inblock.sock >= 0)
1086         {
1087 #ifdef SUPPORT_TLS
1088         tls_close(FALSE, TRUE);
1089 #endif
1090         HDEBUG(D_transport|D_acl|D_v) debug_printf_indent("  SMTP(close)>>\n");
1091         (void)close(sx.inblock.sock);
1092         sx.inblock.sock = sx.outblock.sock = -1;
1093 #ifndef DISABLE_EVENT
1094         (void) event_raise(addr->transport->event_action, US"tcp:close", NULL);
1095 #endif
1096         }
1097       }
1098
1099     if (!done || yield != OK)
1100       addr->message = string_sprintf("%s [%s] : %s", host->name, host->address,
1101                                     addr->message);
1102     }    /* Loop through all hosts, while !done */
1103   }
1104
1105 /* If we get here with done == TRUE, a successful callout happened, and yield
1106 will be set OK or FAIL according to the response to the RCPT command.
1107 Otherwise, we looped through the hosts but couldn't complete the business.
1108 However, there may be domain-specific information to cache in both cases. */
1109
1110 if (!(options & vopt_callout_no_cache))
1111   cache_callout_write(&new_domain_record, addr->domain,
1112     done, &new_address_record, address_key);
1113
1114 /* Failure to connect to any host, or any response other than 2xx or 5xx is a
1115 temporary error. If there was only one host, and a response was received, leave
1116 it alone if supplying details. Otherwise, give a generic response. */
1117
1118 if (!done)
1119   {
1120   uschar * dullmsg = string_sprintf("Could not complete %s verify callout",
1121     options & vopt_is_recipient ? "recipient" : "sender");
1122   yield = DEFER;
1123
1124   addr->message = host_list->next || !addr->message
1125     ? dullmsg : string_sprintf("%s: %s", dullmsg, addr->message);
1126
1127   addr->user_message = smtp_return_error_details
1128     ? string_sprintf("%s for <%s>.\n"
1129       "The mail server(s) for the domain may be temporarily unreachable, or\n"
1130       "they may be permanently unreachable from this server. In the latter case,\n%s",
1131       dullmsg, addr->address,
1132       options & vopt_is_recipient
1133         ? "the address will never be accepted."
1134         : "you need to change the address or create an MX record for its domain\n"
1135           "if it is supposed to be generally accessible from the Internet.\n"
1136           "Talk to your mail administrator for details.")
1137     : dullmsg;
1138
1139   /* Force a specific error code */
1140
1141   addr->basic_errno = ERRNO_CALLOUTDEFER;
1142   }
1143
1144 /* Come here from within the cache-reading code on fast-track exit. */
1145
1146 END_CALLOUT:
1147 tls_modify_variables(&tls_in);
1148 return yield;
1149 }
1150
1151
1152
1153 /* Called after recipient-acl to get a cutthrough connection open when
1154    one was requested and a recipient-verify wasn't subsequently done.
1155 */
1156 int
1157 open_cutthrough_connection( address_item * addr )
1158 {
1159 address_item addr2;
1160 int rc;
1161
1162 /* Use a recipient-verify-callout to set up the cutthrough connection. */
1163 /* We must use a copy of the address for verification, because it might
1164 get rewritten. */
1165
1166 addr2 = *addr;
1167 HDEBUG(D_acl) debug_printf_indent("----------- %s cutthrough setup ------------\n",
1168   rcpt_count > 1 ? "more" : "start");
1169 rc = verify_address(&addr2, NULL,
1170         vopt_is_recipient | vopt_callout_recipsender | vopt_callout_no_cache,
1171         CUTTHROUGH_CMD_TIMEOUT, -1, -1,
1172         NULL, NULL, NULL);
1173 addr->message = addr2.message;
1174 addr->user_message = addr2.user_message;
1175 HDEBUG(D_acl) debug_printf_indent("----------- end cutthrough setup ------------\n");
1176 return rc;
1177 }
1178
1179
1180
1181 /* Send given number of bytes from the buffer */
1182 static BOOL
1183 cutthrough_send(int n)
1184 {
1185 if(cutthrough.fd < 0)
1186   return TRUE;
1187
1188 if(
1189 #ifdef SUPPORT_TLS
1190    tls_out.active == cutthrough.fd ? tls_write(FALSE, ctblock.buffer, n, FALSE) :
1191 #endif
1192    send(cutthrough.fd, ctblock.buffer, n, 0) > 0
1193   )
1194 {
1195   transport_count += n;
1196   ctblock.ptr= ctblock.buffer;
1197   return TRUE;
1198 }
1199
1200 HDEBUG(D_transport|D_acl) debug_printf_indent("cutthrough_send failed: %s\n", strerror(errno));
1201 return FALSE;
1202 }
1203
1204
1205
1206 static BOOL
1207 _cutthrough_puts(uschar * cp, int n)
1208 {
1209 while(n--)
1210  {
1211  if(ctblock.ptr >= ctblock.buffer+ctblock.buffersize)
1212    if(!cutthrough_send(ctblock.buffersize))
1213      return FALSE;
1214
1215  *ctblock.ptr++ = *cp++;
1216  }
1217 return TRUE;
1218 }
1219
1220 /* Buffered output of counted data block.   Return boolean success */
1221 static BOOL
1222 cutthrough_puts(uschar * cp, int n)
1223 {
1224 if (cutthrough.fd < 0)       return TRUE;
1225 if (_cutthrough_puts(cp, n)) return TRUE;
1226 cancel_cutthrough_connection(TRUE, US"transmit failed");
1227 return FALSE;
1228 }
1229
1230 void
1231 cutthrough_data_puts(uschar * cp, int n)
1232 {
1233 if (cutthrough.delivery) (void) cutthrough_puts(cp, n);
1234 return;
1235 }
1236
1237
1238 static BOOL
1239 _cutthrough_flush_send(void)
1240 {
1241 int n = ctblock.ptr - ctblock.buffer;
1242
1243 if(n>0)
1244   if(!cutthrough_send(n))
1245     return FALSE;
1246 return TRUE;
1247 }
1248
1249
1250 /* Send out any bufferred output.  Return boolean success. */
1251 BOOL
1252 cutthrough_flush_send(void)
1253 {
1254 if (_cutthrough_flush_send()) return TRUE;
1255 cancel_cutthrough_connection(TRUE, US"transmit failed");
1256 return FALSE;
1257 }
1258
1259
1260 static BOOL
1261 cutthrough_put_nl(void)
1262 {
1263 return cutthrough_puts(US"\r\n", 2);
1264 }
1265
1266
1267 void
1268 cutthrough_data_put_nl(void)
1269 {
1270 cutthrough_data_puts(US"\r\n", 2);
1271 }
1272
1273
1274 /* Get and check response from cutthrough target */
1275 static uschar
1276 cutthrough_response(int fd, char expect, uschar ** copy, int timeout)
1277 {
1278 smtp_inblock inblock;
1279 uschar inbuffer[4096];
1280 uschar responsebuffer[4096];
1281
1282 inblock.buffer = inbuffer;
1283 inblock.buffersize = sizeof(inbuffer);
1284 inblock.ptr = inbuffer;
1285 inblock.ptrend = inbuffer;
1286 inblock.sock = fd;
1287 /* this relies on (inblock.sock == tls_out.active) */
1288 if(!smtp_read_response(&inblock, responsebuffer, sizeof(responsebuffer), expect, timeout))
1289   cancel_cutthrough_connection(TRUE, US"target timeout on read");
1290
1291 if(copy)
1292   {
1293   uschar * cp;
1294   *copy = cp = string_copy(responsebuffer);
1295   /* Trim the trailing end of line */
1296   cp += Ustrlen(responsebuffer);
1297   if(cp > *copy  &&  cp[-1] == '\n') *--cp = '\0';
1298   if(cp > *copy  &&  cp[-1] == '\r') *--cp = '\0';
1299   }
1300
1301 return responsebuffer[0];
1302 }
1303
1304
1305 /* Negotiate dataphase with the cutthrough target, returning success boolean */
1306 BOOL
1307 cutthrough_predata(void)
1308 {
1309 if(cutthrough.fd < 0 || cutthrough.callout_hold_only)
1310   return FALSE;
1311
1312 HDEBUG(D_transport|D_acl|D_v) debug_printf_indent("  SMTP>> DATA\n");
1313 cutthrough_puts(US"DATA\r\n", 6);
1314 cutthrough_flush_send();
1315
1316 /* Assume nothing buffered.  If it was it gets ignored. */
1317 return cutthrough_response(cutthrough.fd, '3', NULL, CUTTHROUGH_DATA_TIMEOUT) == '3';
1318 }
1319
1320
1321 /* tctx arg only to match write_chunk() */
1322 static BOOL
1323 cutthrough_write_chunk(transport_ctx * tctx, uschar * s, int len)
1324 {
1325 uschar * s2;
1326 while(s && (s2 = Ustrchr(s, '\n')))
1327  {
1328  if(!cutthrough_puts(s, s2-s) || !cutthrough_put_nl())
1329   return FALSE;
1330  s = s2+1;
1331  }
1332 return TRUE;
1333 }
1334
1335
1336 /* Buffered send of headers.  Return success boolean. */
1337 /* Expands newlines to wire format (CR,NL).           */
1338 /* Also sends header-terminating blank line.          */
1339 BOOL
1340 cutthrough_headers_send(void)
1341 {
1342 transport_ctx tctx;
1343
1344 if(cutthrough.fd < 0 || cutthrough.callout_hold_only)
1345   return FALSE;
1346
1347 /* We share a routine with the mainline transport to handle header add/remove/rewrites,
1348    but having a separate buffered-output function (for now)
1349 */
1350 HDEBUG(D_acl) debug_printf_indent("----------- start cutthrough headers send -----------\n");
1351
1352 tctx.u.fd = cutthrough.fd;
1353 tctx.tblock = cutthrough.addr.transport;
1354 tctx.addr = &cutthrough.addr;
1355 tctx.check_string = US".";
1356 tctx.escape_string = US"..";
1357 /*XXX check under spool_files_wireformat.  Might be irrelevant */
1358 tctx.options = topt_use_crlf;
1359
1360 if (!transport_headers_send(&tctx, &cutthrough_write_chunk))
1361   return FALSE;
1362
1363 HDEBUG(D_acl) debug_printf_indent("----------- done cutthrough headers send ------------\n");
1364 return TRUE;
1365 }
1366
1367
1368 static void
1369 close_cutthrough_connection(const uschar * why)
1370 {
1371 int fd = cutthrough.fd;
1372 if(fd >= 0)
1373   {
1374   /* We could be sending this after a bunch of data, but that is ok as
1375      the only way to cancel the transfer in dataphase is to drop the tcp
1376      conn before the final dot.
1377   */
1378   ctblock.ptr = ctbuffer;
1379   HDEBUG(D_transport|D_acl|D_v) debug_printf_indent("  SMTP>> QUIT\n");
1380   _cutthrough_puts(US"QUIT\r\n", 6);    /* avoid recursion */
1381   _cutthrough_flush_send();
1382   cutthrough.fd = -1;                   /* avoid recursion via read timeout */
1383
1384   /* Wait a short time for response, and discard it */
1385   cutthrough_response(fd, '2', NULL, 1);
1386
1387 #ifdef SUPPORT_TLS
1388   tls_close(FALSE, TRUE);
1389 #endif
1390   HDEBUG(D_transport|D_acl|D_v) debug_printf_indent("  SMTP(close)>>\n");
1391   (void)close(fd);
1392   HDEBUG(D_acl) debug_printf_indent("----------- cutthrough shutdown (%s) ------------\n", why);
1393   }
1394 ctblock.ptr = ctbuffer;
1395 }
1396
1397 void
1398 cancel_cutthrough_connection(BOOL close_noncutthrough_verifies, const uschar * why)
1399 {
1400 if (cutthrough.delivery || close_noncutthrough_verifies)
1401   close_cutthrough_connection(why);
1402 cutthrough.delivery = cutthrough.callout_hold_only = FALSE;
1403 }
1404
1405
1406 void
1407 release_cutthrough_connection(const uschar * why)
1408 {
1409 if (cutthrough.fd < 0) return;
1410 HDEBUG(D_acl) debug_printf_indent("release cutthrough conn: %s\n", why);
1411 cutthrough.fd = -1;
1412 cutthrough.delivery = cutthrough.callout_hold_only = FALSE;
1413 }
1414
1415
1416
1417
1418 /* Have senders final-dot.  Send one to cutthrough target, and grab the response.
1419    Log an OK response as a transmission.
1420    Close the connection.
1421    Return smtp response-class digit.
1422 */
1423 uschar *
1424 cutthrough_finaldot(void)
1425 {
1426 uschar res;
1427 address_item * addr;
1428 HDEBUG(D_transport|D_acl|D_v) debug_printf_indent("  SMTP>> .\n");
1429
1430 /* Assume data finshed with new-line */
1431 if(  !cutthrough_puts(US".", 1)
1432   || !cutthrough_put_nl()
1433   || !cutthrough_flush_send()
1434   )
1435   return cutthrough.addr.message;
1436
1437 res = cutthrough_response(cutthrough.fd, '2', &cutthrough.addr.message, CUTTHROUGH_DATA_TIMEOUT);
1438 for (addr = &cutthrough.addr; addr; addr = addr->next)
1439   {
1440   addr->message = cutthrough.addr.message;
1441   switch(res)
1442     {
1443     case '2':
1444       delivery_log(LOG_MAIN, addr, (int)'>', NULL);
1445       close_cutthrough_connection(US"delivered");
1446       break;
1447
1448     case '4':
1449       delivery_log(LOG_MAIN, addr, 0,
1450         US"tmp-reject from cutthrough after DATA:");
1451       break;
1452
1453     case '5':
1454       delivery_log(LOG_MAIN|LOG_REJECT, addr, 0,
1455         US"rejected after DATA:");
1456       break;
1457
1458     default:
1459       break;
1460     }
1461   }
1462 return cutthrough.addr.message;
1463 }
1464
1465
1466
1467 /*************************************************
1468 *           Copy error to toplevel address       *
1469 *************************************************/
1470
1471 /* This function is used when a verify fails or defers, to ensure that the
1472 failure or defer information is in the original toplevel address. This applies
1473 when an address is redirected to a single new address, and the failure or
1474 deferral happens to the child address.
1475
1476 Arguments:
1477   vaddr       the verify address item
1478   addr        the final address item
1479   yield       FAIL or DEFER
1480
1481 Returns:      the value of YIELD
1482 */
1483
1484 static int
1485 copy_error(address_item *vaddr, address_item *addr, int yield)
1486 {
1487 if (addr != vaddr)
1488   {
1489   vaddr->message = addr->message;
1490   vaddr->user_message = addr->user_message;
1491   vaddr->basic_errno = addr->basic_errno;
1492   vaddr->more_errno = addr->more_errno;
1493   vaddr->prop.address_data = addr->prop.address_data;
1494   copyflag(vaddr, addr, af_pass_message);
1495   }
1496 return yield;
1497 }
1498
1499
1500
1501
1502 /**************************************************
1503 * printf that automatically handles TLS if needed *
1504 ***************************************************/
1505
1506 /* This function is used by verify_address() as a substitute for all fprintf()
1507 calls; a direct fprintf() will not produce output in a TLS SMTP session, such
1508 as a response to an EXPN command.  smtp_in.c makes smtp_printf available but
1509 that assumes that we always use the smtp_out FILE* when not using TLS or the
1510 ssl buffer when we are.  Instead we take a FILE* parameter and check to see if
1511 that is smtp_out; if so, smtp_printf() with TLS support, otherwise regular
1512 fprintf().
1513
1514 Arguments:
1515   f           the candidate FILE* to write to
1516   format      format string
1517   ...         optional arguments
1518
1519 Returns:
1520               nothing
1521 */
1522
1523 static void PRINTF_FUNCTION(2,3)
1524 respond_printf(FILE *f, const char *format, ...)
1525 {
1526 va_list ap;
1527
1528 va_start(ap, format);
1529 if (smtp_out && (f == smtp_out))
1530   smtp_vprintf(format, FALSE, ap);
1531 else
1532   vfprintf(f, format, ap);
1533 va_end(ap);
1534 }
1535
1536
1537
1538 /*************************************************
1539 *            Verify an email address             *
1540 *************************************************/
1541
1542 /* This function is used both for verification (-bv and at other times) and
1543 address testing (-bt), which is indicated by address_test_mode being set.
1544
1545 Arguments:
1546   vaddr            contains the address to verify; the next field in this block
1547                      must be NULL
1548   f                if not NULL, write the result to this file
1549   options          various option bits:
1550                      vopt_fake_sender => this sender verify is not for the real
1551                        sender (it was verify=sender=xxxx or an address from a
1552                        header line) - rewriting must not change sender_address
1553                      vopt_is_recipient => this is a recipient address, otherwise
1554                        it's a sender address - this affects qualification and
1555                        rewriting and messages from callouts
1556                      vopt_qualify => qualify an unqualified address; else error
1557                      vopt_expn => called from SMTP EXPN command
1558                      vopt_success_on_redirect => when a new address is generated
1559                        the verification instantly succeeds
1560
1561                      These ones are used by do_callout() -- the options variable
1562                        is passed to it.
1563
1564                      vopt_callout_fullpm => if postmaster check, do full one
1565                      vopt_callout_no_cache => don't use callout cache
1566                      vopt_callout_random => do the "random" thing
1567                      vopt_callout_recipsender => use real sender for recipient
1568                      vopt_callout_recippmaster => use postmaster for recipient
1569
1570   callout          if > 0, specifies that callout is required, and gives timeout
1571                      for individual commands
1572   callout_overall  if > 0, gives overall timeout for the callout function;
1573                    if < 0, a default is used (see do_callout())
1574   callout_connect  the connection timeout for callouts
1575   se_mailfrom      when callout is requested to verify a sender, use this
1576                      in MAIL FROM; NULL => ""
1577   pm_mailfrom      when callout is requested, if non-NULL, do the postmaster
1578                      thing and use this as the sender address (may be "")
1579
1580   routed           if not NULL, set TRUE if routing succeeded, so we can
1581                      distinguish between routing failed and callout failed
1582
1583 Returns:           OK      address verified
1584                    FAIL    address failed to verify
1585                    DEFER   can't tell at present
1586 */
1587
1588 int
1589 verify_address(address_item *vaddr, FILE *f, int options, int callout,
1590   int callout_overall, int callout_connect, uschar *se_mailfrom,
1591   uschar *pm_mailfrom, BOOL *routed)
1592 {
1593 BOOL allok = TRUE;
1594 BOOL full_info = (f == NULL)? FALSE : (debug_selector != 0);
1595 BOOL expn         = (options & vopt_expn) != 0;
1596 BOOL success_on_redirect = (options & vopt_success_on_redirect) != 0;
1597 int i;
1598 int yield = OK;
1599 int verify_type = expn? v_expn :
1600      address_test_mode? v_none :
1601           options & vopt_is_recipient? v_recipient : v_sender;
1602 address_item *addr_list;
1603 address_item *addr_new = NULL;
1604 address_item *addr_remote = NULL;
1605 address_item *addr_local = NULL;
1606 address_item *addr_succeed = NULL;
1607 uschar **failure_ptr = options & vopt_is_recipient
1608   ? &recipient_verify_failure : &sender_verify_failure;
1609 uschar *ko_prefix, *cr;
1610 uschar *address = vaddr->address;
1611 uschar *save_sender;
1612 uschar null_sender[] = { 0 };             /* Ensure writeable memory */
1613
1614 /* Clear, just in case */
1615
1616 *failure_ptr = NULL;
1617
1618 /* Set up a prefix and suffix for error message which allow us to use the same
1619 output statements both in EXPN mode (where an SMTP response is needed) and when
1620 debugging with an output file. */
1621
1622 if (expn)
1623   {
1624   ko_prefix = US"553 ";
1625   cr = US"\r";
1626   }
1627 else ko_prefix = cr = US"";
1628
1629 /* Add qualify domain if permitted; otherwise an unqualified address fails. */
1630
1631 if (parse_find_at(address) == NULL)
1632   {
1633   if ((options & vopt_qualify) == 0)
1634     {
1635     if (f != NULL)
1636       respond_printf(f, "%sA domain is required for \"%s\"%s\n",
1637         ko_prefix, address, cr);
1638     *failure_ptr = US"qualify";
1639     return FAIL;
1640     }
1641   address = rewrite_address_qualify(address, options & vopt_is_recipient);
1642   }
1643
1644 DEBUG(D_verify)
1645   {
1646   debug_printf(">>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>\n");
1647   debug_printf("%s %s\n", address_test_mode? "Testing" : "Verifying", address);
1648   }
1649
1650 /* Rewrite and report on it. Clear the domain and local part caches - these
1651 may have been set by domains and local part tests during an ACL. */
1652
1653 if (global_rewrite_rules != NULL)
1654   {
1655   uschar *old = address;
1656   address = rewrite_address(address, options & vopt_is_recipient, FALSE,
1657     global_rewrite_rules, rewrite_existflags);
1658   if (address != old)
1659     {
1660     for (i = 0; i < (MAX_NAMED_LIST * 2)/32; i++) vaddr->localpart_cache[i] = 0;
1661     for (i = 0; i < (MAX_NAMED_LIST * 2)/32; i++) vaddr->domain_cache[i] = 0;
1662     if (f != NULL && !expn) fprintf(f, "Address rewritten as: %s\n", address);
1663     }
1664   }
1665
1666 /* If this is the real sender address, we must update sender_address at
1667 this point, because it may be referred to in the routers. */
1668
1669 if ((options & (vopt_fake_sender|vopt_is_recipient)) == 0)
1670   sender_address = address;
1671
1672 /* If the address was rewritten to <> no verification can be done, and we have
1673 to return OK. This rewriting is permitted only for sender addresses; for other
1674 addresses, such rewriting fails. */
1675
1676 if (address[0] == 0) return OK;
1677
1678 /* Flip the legacy TLS-related variables over to the outbound set in case
1679 they're used in the context of a transport used by verification. Reset them
1680 at exit from this routine (so no returns allowed from here on). */
1681
1682 tls_modify_variables(&tls_out);
1683
1684 /* Save a copy of the sender address for re-instating if we change it to <>
1685 while verifying a sender address (a nice bit of self-reference there). */
1686
1687 save_sender = sender_address;
1688
1689 /* Observability variable for router/transport use */
1690
1691 verify_mode = options & vopt_is_recipient ? US"R" : US"S";
1692
1693 /* Update the address structure with the possibly qualified and rewritten
1694 address. Set it up as the starting address on the chain of new addresses. */
1695
1696 vaddr->address = address;
1697 addr_new = vaddr;
1698
1699 /* We need a loop, because an address can generate new addresses. We must also
1700 cope with generated pipes and files at the top level. (See also the code and
1701 comment in deliver.c.) However, it is usually the case that the router for
1702 user's .forward files has its verify flag turned off.
1703
1704 If an address generates more than one child, the loop is used only when
1705 full_info is set, and this can only be set locally. Remote enquiries just get
1706 information about the top level address, not anything that it generated. */
1707
1708 while (addr_new)
1709   {
1710   int rc;
1711   address_item *addr = addr_new;
1712
1713   addr_new = addr->next;
1714   addr->next = NULL;
1715
1716   DEBUG(D_verify)
1717     {
1718     debug_printf(">>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>\n");
1719     debug_printf("Considering %s\n", addr->address);
1720     }
1721
1722   /* Handle generated pipe, file or reply addresses. We don't get these
1723   when handling EXPN, as it does only one level of expansion. */
1724
1725   if (testflag(addr, af_pfr))
1726     {
1727     allok = FALSE;
1728     if (f != NULL)
1729       {
1730       BOOL allow;
1731
1732       if (addr->address[0] == '>')
1733         {
1734         allow = testflag(addr, af_allow_reply);
1735         fprintf(f, "%s -> mail %s", addr->parent->address, addr->address + 1);
1736         }
1737       else
1738         {
1739         allow = (addr->address[0] == '|')?
1740           testflag(addr, af_allow_pipe) : testflag(addr, af_allow_file);
1741         fprintf(f, "%s -> %s", addr->parent->address, addr->address);
1742         }
1743
1744       if (addr->basic_errno == ERRNO_BADTRANSPORT)
1745         fprintf(f, "\n*** Error in setting up pipe, file, or autoreply:\n"
1746           "%s\n", addr->message);
1747       else if (allow)
1748         fprintf(f, "\n  transport = %s\n", addr->transport->name);
1749       else
1750         fprintf(f, " *** forbidden ***\n");
1751       }
1752     continue;
1753     }
1754
1755   /* Just in case some router parameter refers to it. */
1756
1757   return_path = addr->prop.errors_address
1758     ? addr->prop.errors_address : sender_address;
1759
1760   /* Split the address into domain and local part, handling the %-hack if
1761   necessary, and then route it. While routing a sender address, set
1762   $sender_address to <> because that is what it will be if we were trying to
1763   send a bounce to the sender. */
1764
1765   if (routed) *routed = FALSE;
1766   if ((rc = deliver_split_address(addr)) == OK)
1767     {
1768     if (!(options & vopt_is_recipient)) sender_address = null_sender;
1769     rc = route_address(addr, &addr_local, &addr_remote, &addr_new,
1770       &addr_succeed, verify_type);
1771     sender_address = save_sender;     /* Put back the real sender */
1772     }
1773
1774   /* If routing an address succeeded, set the flag that remembers, for use when
1775   an ACL cached a sender verify (in case a callout fails). Then if routing set
1776   up a list of hosts or the transport has a host list, and the callout option
1777   is set, and we aren't in a host checking run, do the callout verification,
1778   and set another flag that notes that a callout happened. */
1779
1780   if (rc == OK)
1781     {
1782     if (routed) *routed = TRUE;
1783     if (callout > 0)
1784       {
1785       transport_instance * tp;
1786       host_item * host_list = addr->host_list;
1787
1788       /* Make up some data for use in the case where there is no remote
1789       transport. */
1790
1791       transport_feedback tf = {
1792         .interface =            NULL,                       /* interface (=> any) */
1793         .port =                 US"smtp",
1794         .protocol =             US"smtp",
1795         .hosts =                NULL,
1796         .helo_data =            US"$smtp_active_hostname",
1797         .hosts_override =       FALSE,
1798         .hosts_randomize =      FALSE,
1799         .gethostbyname =        FALSE,
1800         .qualify_single =       TRUE,
1801         .search_parents =       FALSE
1802         };
1803
1804       /* If verification yielded a remote transport, we want to use that
1805       transport's options, so as to mimic what would happen if we were really
1806       sending a message to this address. */
1807
1808       if ((tp = addr->transport) && !tp->info->local)
1809         {
1810         (void)(tp->setup)(tp, addr, &tf, 0, 0, NULL);
1811
1812         /* If the transport has hosts and the router does not, or if the
1813         transport is configured to override the router's hosts, we must build a
1814         host list of the transport's hosts, and find the IP addresses */
1815
1816         if (tf.hosts && (!host_list || tf.hosts_override))
1817           {
1818           uschar *s;
1819           const uschar *save_deliver_domain = deliver_domain;
1820           uschar *save_deliver_localpart = deliver_localpart;
1821
1822           host_list = NULL;    /* Ignore the router's hosts */
1823
1824           deliver_domain = addr->domain;
1825           deliver_localpart = addr->local_part;
1826           s = expand_string(tf.hosts);
1827           deliver_domain = save_deliver_domain;
1828           deliver_localpart = save_deliver_localpart;
1829
1830           if (!s)
1831             {
1832             log_write(0, LOG_MAIN|LOG_PANIC, "failed to expand list of hosts "
1833               "\"%s\" in %s transport for callout: %s", tf.hosts,
1834               tp->name, expand_string_message);
1835             }
1836           else
1837             {
1838             int flags;
1839             host_item *host, *nexthost;
1840             host_build_hostlist(&host_list, s, tf.hosts_randomize);
1841
1842             /* Just ignore failures to find a host address. If we don't manage
1843             to find any addresses, the callout will defer. Note that more than
1844             one address may be found for a single host, which will result in
1845             additional host items being inserted into the chain. Hence we must
1846             save the next host first. */
1847
1848             flags = HOST_FIND_BY_A;
1849             if (tf.qualify_single) flags |= HOST_FIND_QUALIFY_SINGLE;
1850             if (tf.search_parents) flags |= HOST_FIND_SEARCH_PARENTS;
1851
1852             for (host = host_list; host; host = nexthost)
1853               {
1854               nexthost = host->next;
1855               if (tf.gethostbyname ||
1856                   string_is_ip_address(host->name, NULL) != 0)
1857                 (void)host_find_byname(host, NULL, flags, NULL, TRUE);
1858               else
1859                 {
1860                 dnssec_domains * dnssec_domains = NULL;
1861                 if (Ustrcmp(tp->driver_name, "smtp") == 0)
1862                   {
1863                   smtp_transport_options_block * ob =
1864                       (smtp_transport_options_block *) tp->options_block;
1865                   dnssec_domains = &ob->dnssec;
1866                   }
1867
1868                 (void) host_find_bydns(host, NULL, flags, NULL, NULL, NULL,
1869                   dnssec_domains, NULL, NULL);
1870                 }
1871               }
1872             }
1873           }
1874         }
1875
1876       /* Can only do a callout if we have at least one host! If the callout
1877       fails, it will have set ${sender,recipient}_verify_failure. */
1878
1879       if (host_list)
1880         {
1881         HDEBUG(D_verify) debug_printf("Attempting full verification using callout\n");
1882         if (host_checking && !host_checking_callout)
1883           {
1884           HDEBUG(D_verify)
1885             debug_printf("... callout omitted by default when host testing\n"
1886               "(Use -bhc if you want the callouts to happen.)\n");
1887           }
1888         else
1889           {
1890 #ifdef SUPPORT_TLS
1891           deliver_set_expansions(addr);
1892 #endif
1893           rc = do_callout(addr, host_list, &tf, callout, callout_overall,
1894             callout_connect, options, se_mailfrom, pm_mailfrom);
1895           }
1896         }
1897       else
1898         {
1899         HDEBUG(D_verify) debug_printf("Cannot do callout: neither router nor "
1900           "transport provided a host list\n");
1901         }
1902       }
1903     }
1904
1905   /* Otherwise, any failure is a routing failure */
1906
1907   else *failure_ptr = US"route";
1908
1909   /* A router may return REROUTED if it has set up a child address as a result
1910   of a change of domain name (typically from widening). In this case we always
1911   want to continue to verify the new child. */
1912
1913   if (rc == REROUTED) continue;
1914
1915   /* Handle hard failures */
1916
1917   if (rc == FAIL)
1918     {
1919     allok = FALSE;
1920     if (f)
1921       {
1922       address_item *p = addr->parent;
1923
1924       respond_printf(f, "%s%s %s", ko_prefix,
1925         full_info ? addr->address : address,
1926         address_test_mode ? "is undeliverable" : "failed to verify");
1927       if (!expn && admin_user)
1928         {
1929         if (addr->basic_errno > 0)
1930           respond_printf(f, ": %s", strerror(addr->basic_errno));
1931         if (addr->message)
1932           respond_printf(f, ": %s", addr->message);
1933         }
1934
1935       /* Show parents iff doing full info */
1936
1937       if (full_info) while (p)
1938         {
1939         respond_printf(f, "%s\n    <-- %s", cr, p->address);
1940         p = p->parent;
1941         }
1942       respond_printf(f, "%s\n", cr);
1943       }
1944     cancel_cutthrough_connection(TRUE, US"routing hard fail");
1945
1946     if (!full_info)
1947       {
1948       yield = copy_error(vaddr, addr, FAIL);
1949       goto out;
1950       }
1951     yield = FAIL;
1952     }
1953
1954   /* Soft failure */
1955
1956   else if (rc == DEFER)
1957     {
1958     allok = FALSE;
1959     if (f)
1960       {
1961       address_item *p = addr->parent;
1962       respond_printf(f, "%s%s cannot be resolved at this time", ko_prefix,
1963         full_info? addr->address : address);
1964       if (!expn && admin_user)
1965         {
1966         if (addr->basic_errno > 0)
1967           respond_printf(f, ": %s", strerror(addr->basic_errno));
1968         if (addr->message)
1969           respond_printf(f, ": %s", addr->message);
1970         else if (addr->basic_errno <= 0)
1971           respond_printf(f, ": unknown error");
1972         }
1973
1974       /* Show parents iff doing full info */
1975
1976       if (full_info) while (p)
1977         {
1978         respond_printf(f, "%s\n    <-- %s", cr, p->address);
1979         p = p->parent;
1980         }
1981       respond_printf(f, "%s\n", cr);
1982       }
1983     cancel_cutthrough_connection(TRUE, US"routing soft fail");
1984
1985     if (!full_info)
1986       {
1987       yield = copy_error(vaddr, addr, DEFER);
1988       goto out;
1989       }
1990     if (yield == OK) yield = DEFER;
1991     }
1992
1993   /* If we are handling EXPN, we do not want to continue to route beyond
1994   the top level (whose address is in "address"). */
1995
1996   else if (expn)
1997     {
1998     uschar *ok_prefix = US"250-";
1999
2000     if (!addr_new)
2001       if (!addr_local && !addr_remote)
2002         respond_printf(f, "250 mail to <%s> is discarded\r\n", address);
2003       else
2004         respond_printf(f, "250 <%s>\r\n", address);
2005
2006     else do
2007       {
2008       address_item *addr2 = addr_new;
2009       addr_new = addr2->next;
2010       if (!addr_new) ok_prefix = US"250 ";
2011       respond_printf(f, "%s<%s>\r\n", ok_prefix, addr2->address);
2012       } while (addr_new);
2013     yield = OK;
2014     goto out;
2015     }
2016
2017   /* Successful routing other than EXPN. */
2018
2019   else
2020     {
2021     /* Handle successful routing when short info wanted. Otherwise continue for
2022     other (generated) addresses. Short info is the operational case. Full info
2023     can be requested only when debug_selector != 0 and a file is supplied.
2024
2025     There is a conflict between the use of aliasing as an alternate email
2026     address, and as a sort of mailing list. If an alias turns the incoming
2027     address into just one address (e.g. J.Caesar->jc44) you may well want to
2028     carry on verifying the generated address to ensure it is valid when
2029     checking incoming mail. If aliasing generates multiple addresses, you
2030     probably don't want to do this. Exim therefore treats the generation of
2031     just a single new address as a special case, and continues on to verify the
2032     generated address. */
2033
2034     if (  !full_info                    /* Stop if short info wanted AND */
2035        && (  (  !addr_new               /* No new address OR */
2036              || addr_new->next          /* More than one new address OR */
2037              || testflag(addr_new, af_pfr)      /* New address is pfr */
2038              )
2039           ||                            /* OR */
2040              (  addr_new                /* At least one new address AND */
2041              && success_on_redirect     /* success_on_redirect is set */
2042           )  )
2043        )
2044       {
2045       if (f) fprintf(f, "%s %s\n",
2046         address, address_test_mode ? "is deliverable" : "verified");
2047
2048       /* If we have carried on to verify a child address, we want the value
2049       of $address_data to be that of the child */
2050
2051       vaddr->prop.address_data = addr->prop.address_data;
2052
2053       /* If stopped because more than one new address, cannot cutthrough */
2054
2055       if (addr_new && addr_new->next)
2056         cancel_cutthrough_connection(TRUE, US"multiple addresses from routing");
2057
2058       yield = OK;
2059       goto out;
2060       }
2061     }
2062   }     /* Loop for generated addresses */
2063
2064 /* Display the full results of the successful routing, including any generated
2065 addresses. Control gets here only when full_info is set, which requires f not
2066 to be NULL, and this occurs only when a top-level verify is called with the
2067 debugging switch on.
2068
2069 If there are no local and no remote addresses, and there were no pipes, files,
2070 or autoreplies, and there were no errors or deferments, the message is to be
2071 discarded, usually because of the use of :blackhole: in an alias file. */
2072
2073 if (allok && !addr_local && !addr_remote)
2074   {
2075   fprintf(f, "mail to %s is discarded\n", address);
2076   goto out;
2077   }
2078
2079 for (addr_list = addr_local, i = 0; i < 2; addr_list = addr_remote, i++)
2080   while (addr_list)
2081     {
2082     address_item *addr = addr_list;
2083     address_item *p = addr->parent;
2084     transport_instance * tp = addr->transport;
2085
2086     addr_list = addr->next;
2087
2088     fprintf(f, "%s", CS addr->address);
2089 #ifdef EXPERIMENTAL_SRS
2090     if(addr->prop.srs_sender)
2091       fprintf(f, "    [srs = %s]", addr->prop.srs_sender);
2092 #endif
2093
2094     /* If the address is a duplicate, show something about it. */
2095
2096     if (!testflag(addr, af_pfr))
2097       {
2098       tree_node *tnode;
2099       if ((tnode = tree_search(tree_duplicates, addr->unique)))
2100         fprintf(f, "   [duplicate, would not be delivered]");
2101       else tree_add_duplicate(addr->unique, addr);
2102       }
2103
2104     /* Now show its parents */
2105
2106     for (p = addr->parent; p; p = p->parent)
2107       fprintf(f, "\n    <-- %s", p->address);
2108     fprintf(f, "\n  ");
2109
2110     /* Show router, and transport */
2111
2112     fprintf(f, "router = %s, transport = %s\n",
2113       addr->router->name, tp ? tp->name : US"unset");
2114
2115     /* Show any hosts that are set up by a router unless the transport
2116     is going to override them; fiddle a bit to get a nice format. */
2117
2118     if (addr->host_list && tp && !tp->overrides_hosts)
2119       {
2120       host_item *h;
2121       int maxlen = 0;
2122       int maxaddlen = 0;
2123       for (h = addr->host_list; h; h = h->next)
2124         {                               /* get max lengths of host names, addrs */
2125         int len = Ustrlen(h->name);
2126         if (len > maxlen) maxlen = len;
2127         len = h->address ? Ustrlen(h->address) : 7;
2128         if (len > maxaddlen) maxaddlen = len;
2129         }
2130       for (h = addr->host_list; h; h = h->next)
2131         {
2132         fprintf(f, "  host %-*s ", maxlen, h->name);
2133
2134         if (h->address)
2135           fprintf(f, "[%s%-*c", h->address, maxaddlen+1 - Ustrlen(h->address), ']');
2136         else if (tp->info->local)
2137           fprintf(f, " %-*s ", maxaddlen, "");  /* Omit [unknown] for local */
2138         else
2139           fprintf(f, "[%s%-*c", "unknown", maxaddlen+1 - 7, ']');
2140
2141         if (h->mx >= 0) fprintf(f, " MX=%d", h->mx);
2142         if (h->port != PORT_NONE) fprintf(f, " port=%d", h->port);
2143         if (running_in_test_harness  &&  h->dnssec == DS_YES) fputs(" AD", f);
2144         if (h->status == hstatus_unusable) fputs(" ** unusable **", f);
2145         fputc('\n', f);
2146         }
2147       }
2148     }
2149
2150 /* Yield will be DEFER or FAIL if any one address has, only for full_info (which is
2151 the -bv or -bt case). */
2152
2153 out:
2154 verify_mode = NULL;
2155 tls_modify_variables(&tls_in);
2156
2157 return yield;
2158 }
2159
2160
2161
2162
2163 /*************************************************
2164 *      Check headers for syntax errors           *
2165 *************************************************/
2166
2167 /* This function checks those header lines that contain addresses, and verifies
2168 that all the addresses therein are syntactially correct.
2169
2170 Arguments:
2171   msgptr     where to put an error message
2172
2173 Returns:     OK
2174              FAIL
2175 */
2176
2177 int
2178 verify_check_headers(uschar **msgptr)
2179 {
2180 header_line *h;
2181 uschar *colon, *s;
2182 int yield = OK;
2183
2184 for (h = header_list; h != NULL && yield == OK; h = h->next)
2185   {
2186   if (h->type != htype_from &&
2187       h->type != htype_reply_to &&
2188       h->type != htype_sender &&
2189       h->type != htype_to &&
2190       h->type != htype_cc &&
2191       h->type != htype_bcc)
2192     continue;
2193
2194   colon = Ustrchr(h->text, ':');
2195   s = colon + 1;
2196   while (isspace(*s)) s++;
2197
2198   /* Loop for multiple addresses in the header, enabling group syntax. Note
2199   that we have to reset this after the header has been scanned. */
2200
2201   parse_allow_group = TRUE;
2202
2203   while (*s != 0)
2204     {
2205     uschar *ss = parse_find_address_end(s, FALSE);
2206     uschar *recipient, *errmess;
2207     int terminator = *ss;
2208     int start, end, domain;
2209
2210     /* Temporarily terminate the string at this point, and extract the
2211     operative address within, allowing group syntax. */
2212
2213     *ss = 0;
2214     recipient = parse_extract_address(s,&errmess,&start,&end,&domain,FALSE);
2215     *ss = terminator;
2216
2217     /* Permit an unqualified address only if the message is local, or if the
2218     sending host is configured to be permitted to send them. */
2219
2220     if (recipient != NULL && domain == 0)
2221       {
2222       if (h->type == htype_from || h->type == htype_sender)
2223         {
2224         if (!allow_unqualified_sender) recipient = NULL;
2225         }
2226       else
2227         {
2228         if (!allow_unqualified_recipient) recipient = NULL;
2229         }
2230       if (recipient == NULL) errmess = US"unqualified address not permitted";
2231       }
2232
2233     /* It's an error if no address could be extracted, except for the special
2234     case of an empty address. */
2235
2236     if (recipient == NULL && Ustrcmp(errmess, "empty address") != 0)
2237       {
2238       uschar *verb = US"is";
2239       uschar *t = ss;
2240       uschar *tt = colon;
2241       int len;
2242
2243       /* Arrange not to include any white space at the end in the
2244       error message or the header name. */
2245
2246       while (t > s && isspace(t[-1])) t--;
2247       while (tt > h->text && isspace(tt[-1])) tt--;
2248
2249       /* Add the address that failed to the error message, since in a
2250       header with very many addresses it is sometimes hard to spot
2251       which one is at fault. However, limit the amount of address to
2252       quote - cases have been seen where, for example, a missing double
2253       quote in a humungous To: header creates an "address" that is longer
2254       than string_sprintf can handle. */
2255
2256       len = t - s;
2257       if (len > 1024)
2258         {
2259         len = 1024;
2260         verb = US"begins";
2261         }
2262
2263       /* deconst cast ok as we're passing a non-const to string_printing() */
2264       *msgptr = US string_printing(
2265         string_sprintf("%s: failing address in \"%.*s:\" header %s: %.*s",
2266           errmess, tt - h->text, h->text, verb, len, s));
2267
2268       yield = FAIL;
2269       break;          /* Out of address loop */
2270       }
2271
2272     /* Advance to the next address */
2273
2274     s = ss + (terminator? 1:0);
2275     while (isspace(*s)) s++;
2276     }   /* Next address */
2277
2278   parse_allow_group = FALSE;
2279   parse_found_group = FALSE;
2280   }     /* Next header unless yield has been set FALSE */
2281
2282 return yield;
2283 }
2284
2285
2286 /*************************************************
2287 *      Check header names for 8-bit characters   *
2288 *************************************************/
2289
2290 /* This function checks for invalid characters in header names. See
2291 RFC 5322, 2.2. and RFC 6532, 3.
2292
2293 Arguments:
2294   msgptr     where to put an error message
2295
2296 Returns:     OK
2297              FAIL
2298 */
2299
2300 int
2301 verify_check_header_names_ascii(uschar **msgptr)
2302 {
2303 header_line *h;
2304 uschar *colon, *s;
2305
2306 for (h = header_list; h; h = h->next)
2307   {
2308   colon = Ustrchr(h->text, ':');
2309   for(s = h->text; s < colon; s++)
2310     if ((*s < 33) || (*s > 126))
2311       {
2312       *msgptr = string_sprintf("Invalid character in header \"%.*s\" found",
2313                              colon - h->text, h->text);
2314       return FAIL;
2315       }
2316   }
2317 return OK;
2318 }
2319
2320 /*************************************************
2321 *          Check for blind recipients            *
2322 *************************************************/
2323
2324 /* This function checks that every (envelope) recipient is mentioned in either
2325 the To: or Cc: header lines, thus detecting blind carbon copies.
2326
2327 There are two ways of scanning that could be used: either scan the header lines
2328 and tick off the recipients, or scan the recipients and check the header lines.
2329 The original proposed patch did the former, but I have chosen to do the latter,
2330 because (a) it requires no memory and (b) will use fewer resources when there
2331 are many addresses in To: and/or Cc: and only one or two envelope recipients.
2332
2333 Arguments:   none
2334 Returns:     OK    if there are no blind recipients
2335              FAIL  if there is at least one blind recipient
2336 */
2337
2338 int
2339 verify_check_notblind(void)
2340 {
2341 int i;
2342 for (i = 0; i < recipients_count; i++)
2343   {
2344   header_line *h;
2345   BOOL found = FALSE;
2346   uschar *address = recipients_list[i].address;
2347
2348   for (h = header_list; !found && h != NULL; h = h->next)
2349     {
2350     uschar *colon, *s;
2351
2352     if (h->type != htype_to && h->type != htype_cc) continue;
2353
2354     colon = Ustrchr(h->text, ':');
2355     s = colon + 1;
2356     while (isspace(*s)) s++;
2357
2358     /* Loop for multiple addresses in the header, enabling group syntax. Note
2359     that we have to reset this after the header has been scanned. */
2360
2361     parse_allow_group = TRUE;
2362
2363     while (*s != 0)
2364       {
2365       uschar *ss = parse_find_address_end(s, FALSE);
2366       uschar *recipient,*errmess;
2367       int terminator = *ss;
2368       int start, end, domain;
2369
2370       /* Temporarily terminate the string at this point, and extract the
2371       operative address within, allowing group syntax. */
2372
2373       *ss = 0;
2374       recipient = parse_extract_address(s,&errmess,&start,&end,&domain,FALSE);
2375       *ss = terminator;
2376
2377       /* If we found a valid recipient that has a domain, compare it with the
2378       envelope recipient. Local parts are compared case-sensitively, domains
2379       case-insensitively. By comparing from the start with length "domain", we
2380       include the "@" at the end, which ensures that we are comparing the whole
2381       local part of each address. */
2382
2383       if (recipient != NULL && domain != 0)
2384         {
2385         found = Ustrncmp(recipient, address, domain) == 0 &&
2386                 strcmpic(recipient + domain, address + domain) == 0;
2387         if (found) break;
2388         }
2389
2390       /* Advance to the next address */
2391
2392       s = ss + (terminator? 1:0);
2393       while (isspace(*s)) s++;
2394       }   /* Next address */
2395
2396     parse_allow_group = FALSE;
2397     parse_found_group = FALSE;
2398     }     /* Next header (if found is false) */
2399
2400   if (!found) return FAIL;
2401   }       /* Next recipient */
2402
2403 return OK;
2404 }
2405
2406
2407
2408 /*************************************************
2409 *          Find if verified sender               *
2410 *************************************************/
2411
2412 /* Usually, just a single address is verified as the sender of the message.
2413 However, Exim can be made to verify other addresses as well (often related in
2414 some way), and this is useful in some environments. There may therefore be a
2415 chain of such addresses that have previously been tested. This function finds
2416 whether a given address is on the chain.
2417
2418 Arguments:   the address to be verified
2419 Returns:     pointer to an address item, or NULL
2420 */
2421
2422 address_item *
2423 verify_checked_sender(uschar *sender)
2424 {
2425 address_item *addr;
2426 for (addr = sender_verified_list; addr != NULL; addr = addr->next)
2427   if (Ustrcmp(sender, addr->address) == 0) break;
2428 return addr;
2429 }
2430
2431
2432
2433
2434
2435 /*************************************************
2436 *             Get valid header address           *
2437 *************************************************/
2438
2439 /* Scan the originator headers of the message, looking for an address that
2440 verifies successfully. RFC 822 says:
2441
2442     o   The "Sender" field mailbox should be sent  notices  of
2443         any  problems in transport or delivery of the original
2444         messages.  If there is no  "Sender"  field,  then  the
2445         "From" field mailbox should be used.
2446
2447     o   If the "Reply-To" field exists, then the reply  should
2448         go to the addresses indicated in that field and not to
2449         the address(es) indicated in the "From" field.
2450
2451 So we check a Sender field if there is one, else a Reply_to field, else a From
2452 field. As some strange messages may have more than one of these fields,
2453 especially if they are resent- fields, check all of them if there is more than
2454 one.
2455
2456 Arguments:
2457   user_msgptr      points to where to put a user error message
2458   log_msgptr       points to where to put a log error message
2459   callout          timeout for callout check (passed to verify_address())
2460   callout_overall  overall callout timeout (ditto)
2461   callout_connect  connect callout timeout (ditto)
2462   se_mailfrom      mailfrom for verify; NULL => ""
2463   pm_mailfrom      sender for pm callout check (passed to verify_address())
2464   options          callout options (passed to verify_address())
2465   verrno           where to put the address basic_errno
2466
2467 If log_msgptr is set to something without setting user_msgptr, the caller
2468 normally uses log_msgptr for both things.
2469
2470 Returns:           result of the verification attempt: OK, FAIL, or DEFER;
2471                    FAIL is given if no appropriate headers are found
2472 */
2473
2474 int
2475 verify_check_header_address(uschar **user_msgptr, uschar **log_msgptr,
2476   int callout, int callout_overall, int callout_connect, uschar *se_mailfrom,
2477   uschar *pm_mailfrom, int options, int *verrno)
2478 {
2479 static int header_types[] = { htype_sender, htype_reply_to, htype_from };
2480 BOOL done = FALSE;
2481 int yield = FAIL;
2482 int i;
2483
2484 for (i = 0; i < 3 && !done; i++)
2485   {
2486   header_line *h;
2487   for (h = header_list; h != NULL && !done; h = h->next)
2488     {
2489     int terminator, new_ok;
2490     uschar *s, *ss, *endname;
2491
2492     if (h->type != header_types[i]) continue;
2493     s = endname = Ustrchr(h->text, ':') + 1;
2494
2495     /* Scan the addresses in the header, enabling group syntax. Note that we
2496     have to reset this after the header has been scanned. */
2497
2498     parse_allow_group = TRUE;
2499
2500     while (*s != 0)
2501       {
2502       address_item *vaddr;
2503
2504       while (isspace(*s) || *s == ',') s++;
2505       if (*s == 0) break;        /* End of header */
2506
2507       ss = parse_find_address_end(s, FALSE);
2508
2509       /* The terminator is a comma or end of header, but there may be white
2510       space preceding it (including newline for the last address). Move back
2511       past any white space so we can check against any cached envelope sender
2512       address verifications. */
2513
2514       while (isspace(ss[-1])) ss--;
2515       terminator = *ss;
2516       *ss = 0;
2517
2518       HDEBUG(D_verify) debug_printf("verifying %.*s header address %s\n",
2519         (int)(endname - h->text), h->text, s);
2520
2521       /* See if we have already verified this address as an envelope sender,
2522       and if so, use the previous answer. */
2523
2524       vaddr = verify_checked_sender(s);
2525
2526       if (vaddr != NULL &&                   /* Previously checked */
2527            (callout <= 0 ||                  /* No callout needed; OR */
2528             vaddr->special_action > 256))    /* Callout was done */
2529         {
2530         new_ok = vaddr->special_action & 255;
2531         HDEBUG(D_verify) debug_printf("previously checked as envelope sender\n");
2532         *ss = terminator;  /* Restore shortened string */
2533         }
2534
2535       /* Otherwise we run the verification now. We must restore the shortened
2536       string before running the verification, so the headers are correct, in
2537       case there is any rewriting. */
2538
2539       else
2540         {
2541         int start, end, domain;
2542         uschar *address = parse_extract_address(s, log_msgptr, &start, &end,
2543           &domain, FALSE);
2544
2545         *ss = terminator;
2546
2547         /* If we found an empty address, just carry on with the next one, but
2548         kill the message. */
2549
2550         if (address == NULL && Ustrcmp(*log_msgptr, "empty address") == 0)
2551           {
2552           *log_msgptr = NULL;
2553           s = ss;
2554           continue;
2555           }
2556
2557         /* If verification failed because of a syntax error, fail this
2558         function, and ensure that the failing address gets added to the error
2559         message. */
2560
2561         if (address == NULL)
2562           {
2563           new_ok = FAIL;
2564           while (ss > s && isspace(ss[-1])) ss--;
2565           *log_msgptr = string_sprintf("syntax error in '%.*s' header when "
2566             "scanning for sender: %s in \"%.*s\"",
2567             endname - h->text, h->text, *log_msgptr, ss - s, s);
2568           yield = FAIL;
2569           done = TRUE;
2570           break;
2571           }
2572
2573         /* Else go ahead with the sender verification. But it isn't *the*
2574         sender of the message, so set vopt_fake_sender to stop sender_address
2575         being replaced after rewriting or qualification. */
2576
2577         else
2578           {
2579           vaddr = deliver_make_addr(address, FALSE);
2580           new_ok = verify_address(vaddr, NULL, options | vopt_fake_sender,
2581             callout, callout_overall, callout_connect, se_mailfrom,
2582             pm_mailfrom, NULL);
2583           }
2584         }
2585
2586       /* We now have the result, either newly found, or cached. If we are
2587       giving out error details, set a specific user error. This means that the
2588       last of these will be returned to the user if all three fail. We do not
2589       set a log message - the generic one below will be used. */
2590
2591       if (new_ok != OK)
2592         {
2593         *verrno = vaddr->basic_errno;
2594         if (smtp_return_error_details)
2595           {
2596           *user_msgptr = string_sprintf("Rejected after DATA: "
2597             "could not verify \"%.*s\" header address\n%s: %s",
2598             endname - h->text, h->text, vaddr->address, vaddr->message);
2599           }
2600         }
2601
2602       /* Success or defer */
2603
2604       if (new_ok == OK)
2605         {
2606         yield = OK;
2607         done = TRUE;
2608         break;
2609         }
2610
2611       if (new_ok == DEFER) yield = DEFER;
2612
2613       /* Move on to any more addresses in the header */
2614
2615       s = ss;
2616       }     /* Next address */
2617
2618     parse_allow_group = FALSE;
2619     parse_found_group = FALSE;
2620     }       /* Next header, unless done */
2621   }         /* Next header type unless done */
2622
2623 if (yield == FAIL && *log_msgptr == NULL)
2624   *log_msgptr = US"there is no valid sender in any header line";
2625
2626 if (yield == DEFER && *log_msgptr == NULL)
2627   *log_msgptr = US"all attempts to verify a sender in a header line deferred";
2628
2629 return yield;
2630 }
2631
2632
2633
2634
2635 /*************************************************
2636 *            Get RFC 1413 identification         *
2637 *************************************************/
2638
2639 /* Attempt to get an id from the sending machine via the RFC 1413 protocol. If
2640 the timeout is set to zero, then the query is not done. There may also be lists
2641 of hosts and nets which are exempt. To guard against malefactors sending
2642 non-printing characters which could, for example, disrupt a message's headers,
2643 make sure the string consists of printing characters only.
2644
2645 Argument:
2646   port    the port to connect to; usually this is IDENT_PORT (113), but when
2647           running in the test harness with -bh a different value is used.
2648
2649 Returns:  nothing
2650
2651 Side effect: any received ident value is put in sender_ident (NULL otherwise)
2652 */
2653
2654 void
2655 verify_get_ident(int port)
2656 {
2657 int sock, host_af, qlen;
2658 int received_sender_port, received_interface_port, n;
2659 uschar *p;
2660 uschar buffer[2048];
2661
2662 /* Default is no ident. Check whether we want to do an ident check for this
2663 host. */
2664
2665 sender_ident = NULL;
2666 if (rfc1413_query_timeout <= 0 || verify_check_host(&rfc1413_hosts) != OK)
2667   return;
2668
2669 DEBUG(D_ident) debug_printf("doing ident callback\n");
2670
2671 /* Set up a connection to the ident port of the remote host. Bind the local end
2672 to the incoming interface address. If the sender host address is an IPv6
2673 address, the incoming interface address will also be IPv6. */
2674
2675 host_af = Ustrchr(sender_host_address, ':') == NULL ? AF_INET : AF_INET6;
2676 if ((sock = ip_socket(SOCK_STREAM, host_af)) < 0) return;
2677
2678 if (ip_bind(sock, host_af, interface_address, 0) < 0)
2679   {
2680   DEBUG(D_ident) debug_printf("bind socket for ident failed: %s\n",
2681     strerror(errno));
2682   goto END_OFF;
2683   }
2684
2685 /*XXX could take advantage of TFO early-data.  Hmm, what are the
2686 error returns; can we differentiate connect from data fails?
2687 Do we need to? */
2688 if (ip_connect(sock, host_af, sender_host_address, port,
2689                 rfc1413_query_timeout, &tcp_fastopen_nodata) < 0)
2690   {
2691   if (errno == ETIMEDOUT && LOGGING(ident_timeout))
2692     log_write(0, LOG_MAIN, "ident connection to %s timed out",
2693       sender_host_address);
2694   else
2695     DEBUG(D_ident) debug_printf("ident connection to %s failed: %s\n",
2696       sender_host_address, strerror(errno));
2697   goto END_OFF;
2698   }
2699
2700 /* Construct and send the query. */
2701
2702 sprintf(CS buffer, "%d , %d\r\n", sender_host_port, interface_port);
2703 qlen = Ustrlen(buffer);
2704 if (send(sock, buffer, qlen, 0) < 0)
2705   {
2706   DEBUG(D_ident) debug_printf("ident send failed: %s\n", strerror(errno));
2707   goto END_OFF;
2708   }
2709
2710 /* Read a response line. We put it into the rest of the buffer, using several
2711 recv() calls if necessary. */
2712
2713 p = buffer + qlen;
2714
2715 for (;;)
2716   {
2717   uschar *pp;
2718   int count;
2719   int size = sizeof(buffer) - (p - buffer);
2720
2721   if (size <= 0) goto END_OFF;   /* Buffer filled without seeing \n. */
2722   count = ip_recv(sock, p, size, rfc1413_query_timeout);
2723   if (count <= 0) goto END_OFF;  /* Read error or EOF */
2724
2725   /* Scan what we just read, to see if we have reached the terminating \r\n. Be
2726   generous, and accept a plain \n terminator as well. The only illegal
2727   character is 0. */
2728
2729   for (pp = p; pp < p + count; pp++)
2730     {
2731     if (*pp == 0) goto END_OFF;   /* Zero octet not allowed */
2732     if (*pp == '\n')
2733       {
2734       if (pp[-1] == '\r') pp--;
2735       *pp = 0;
2736       goto GOT_DATA;             /* Break out of both loops */
2737       }
2738     }
2739
2740   /* Reached the end of the data without finding \n. Let the loop continue to
2741   read some more, if there is room. */
2742
2743   p = pp;
2744   }
2745
2746 GOT_DATA:
2747
2748 /* We have received a line of data. Check it carefully. It must start with the
2749 same two port numbers that we sent, followed by data as defined by the RFC. For
2750 example,
2751
2752   12345 , 25 : USERID : UNIX :root
2753
2754 However, the amount of white space may be different to what we sent. In the
2755 "osname" field there may be several sub-fields, comma separated. The data we
2756 actually want to save follows the third colon. Some systems put leading spaces
2757 in it - we discard those. */
2758
2759 if (sscanf(CS buffer + qlen, "%d , %d%n", &received_sender_port,
2760       &received_interface_port, &n) != 2 ||
2761     received_sender_port != sender_host_port ||
2762     received_interface_port != interface_port)
2763   goto END_OFF;
2764
2765 p = buffer + qlen + n;
2766 while(isspace(*p)) p++;
2767 if (*p++ != ':') goto END_OFF;
2768 while(isspace(*p)) p++;
2769 if (Ustrncmp(p, "USERID", 6) != 0) goto END_OFF;
2770 p += 6;
2771 while(isspace(*p)) p++;
2772 if (*p++ != ':') goto END_OFF;
2773 while (*p != 0 && *p != ':') p++;
2774 if (*p++ == 0) goto END_OFF;
2775 while(isspace(*p)) p++;
2776 if (*p == 0) goto END_OFF;
2777
2778 /* The rest of the line is the data we want. We turn it into printing
2779 characters when we save it, so that it cannot mess up the format of any logging
2780 or Received: lines into which it gets inserted. We keep a maximum of 127
2781 characters. The deconst cast is ok as we fed a nonconst to string_printing() */
2782
2783 sender_ident = US string_printing(string_copyn(p, 127));
2784 DEBUG(D_ident) debug_printf("sender_ident = %s\n", sender_ident);
2785
2786 END_OFF:
2787 (void)close(sock);
2788 return;
2789 }
2790
2791
2792
2793
2794 /*************************************************
2795 *      Match host to a single host-list item     *
2796 *************************************************/
2797
2798 /* This function compares a host (name or address) against a single item
2799 from a host list. The host name gets looked up if it is needed and is not
2800 already known. The function is called from verify_check_this_host() via
2801 match_check_list(), which is why most of its arguments are in a single block.
2802
2803 Arguments:
2804   arg            the argument block (see below)
2805   ss             the host-list item
2806   valueptr       where to pass back looked up data, or NULL
2807   error          for error message when returning ERROR
2808
2809 The block contains:
2810   host_name      (a) the host name, or
2811                  (b) NULL, implying use sender_host_name and
2812                        sender_host_aliases, looking them up if required, or
2813                  (c) the empty string, meaning that only IP address matches
2814                        are permitted
2815   host_address   the host address
2816   host_ipv4      the IPv4 address taken from an IPv6 one
2817
2818 Returns:         OK      matched
2819                  FAIL    did not match
2820                  DEFER   lookup deferred
2821                  ERROR   (a) failed to find the host name or IP address, or
2822                          (b) unknown lookup type specified, or
2823                          (c) host name encountered when only IP addresses are
2824                                being matched
2825 */
2826
2827 int
2828 check_host(void *arg, const uschar *ss, const uschar **valueptr, uschar **error)
2829 {
2830 check_host_block *cb = (check_host_block *)arg;
2831 int mlen = -1;
2832 int maskoffset;
2833 BOOL iplookup = FALSE;
2834 BOOL isquery = FALSE;
2835 BOOL isiponly = cb->host_name != NULL && cb->host_name[0] == 0;
2836 const uschar *t;
2837 uschar *semicolon;
2838 uschar **aliases;
2839
2840 /* Optimize for the special case when the pattern is "*". */
2841
2842 if (*ss == '*' && ss[1] == 0) return OK;
2843
2844 /* If the pattern is empty, it matches only in the case when there is no host -
2845 this can occur in ACL checking for SMTP input using the -bs option. In this
2846 situation, the host address is the empty string. */
2847
2848 if (cb->host_address[0] == 0) return (*ss == 0)? OK : FAIL;
2849 if (*ss == 0) return FAIL;
2850
2851 /* If the pattern is precisely "@" then match against the primary host name,
2852 provided that host name matching is permitted; if it's "@[]" match against the
2853 local host's IP addresses. */
2854
2855 if (*ss == '@')
2856   {
2857   if (ss[1] == 0)
2858     {
2859     if (isiponly) return ERROR;
2860     ss = primary_hostname;
2861     }
2862   else if (Ustrcmp(ss, "@[]") == 0)
2863     {
2864     ip_address_item *ip;
2865     for (ip = host_find_interfaces(); ip != NULL; ip = ip->next)
2866       if (Ustrcmp(ip->address, cb->host_address) == 0) return OK;
2867     return FAIL;
2868     }
2869   }
2870
2871 /* If the pattern is an IP address, optionally followed by a bitmask count, do
2872 a (possibly masked) comparison with the current IP address. */
2873
2874 if (string_is_ip_address(ss, &maskoffset) != 0)
2875   return (host_is_in_net(cb->host_address, ss, maskoffset)? OK : FAIL);
2876
2877 /* The pattern is not an IP address. A common error that people make is to omit
2878 one component of an IPv4 address, either by accident, or believing that, for
2879 example, 1.2.3/24 is the same as 1.2.3.0/24, or 1.2.3 is the same as 1.2.3.0,
2880 which it isn't. (Those applications that do accept 1.2.3 as an IP address
2881 interpret it as 1.2.0.3 because the final component becomes 16-bit - this is an
2882 ancient specification.) To aid in debugging these cases, we give a specific
2883 error if the pattern contains only digits and dots or contains a slash preceded
2884 only by digits and dots (a slash at the start indicates a file name and of
2885 course slashes may be present in lookups, but not preceded only by digits and
2886 dots). */
2887
2888 for (t = ss; isdigit(*t) || *t == '.'; t++);
2889 if (*t == 0 || (*t == '/' && t != ss))
2890   {
2891   *error = US"malformed IPv4 address or address mask";
2892   return ERROR;
2893   }
2894
2895 /* See if there is a semicolon in the pattern */
2896
2897 semicolon = Ustrchr(ss, ';');
2898
2899 /* If we are doing an IP address only match, then all lookups must be IP
2900 address lookups, even if there is no "net-". */
2901
2902 if (isiponly)
2903   {
2904   iplookup = semicolon != NULL;
2905   }
2906
2907 /* Otherwise, if the item is of the form net[n]-lookup;<file|query> then it is
2908 a lookup on a masked IP network, in textual form. We obey this code even if we
2909 have already set iplookup, so as to skip over the "net-" prefix and to set the
2910 mask length. The net- stuff really only applies to single-key lookups where the
2911 key is implicit. For query-style lookups the key is specified in the query.
2912 From release 4.30, the use of net- for query style is no longer needed, but we
2913 retain it for backward compatibility. */
2914
2915 if (Ustrncmp(ss, "net", 3) == 0 && semicolon != NULL)
2916   {
2917   mlen = 0;
2918   for (t = ss + 3; isdigit(*t); t++) mlen = mlen * 10 + *t - '0';
2919   if (mlen == 0 && t == ss+3) mlen = -1;  /* No mask supplied */
2920   iplookup = (*t++ == '-');
2921   }
2922 else t = ss;
2923
2924 /* Do the IP address lookup if that is indeed what we have */
2925
2926 if (iplookup)
2927   {
2928   int insize;
2929   int search_type;
2930   int incoming[4];
2931   void *handle;
2932   uschar *filename, *key, *result;
2933   uschar buffer[64];
2934
2935   /* Find the search type */
2936
2937   search_type = search_findtype(t, semicolon - t);
2938
2939   if (search_type < 0) log_write(0, LOG_MAIN|LOG_PANIC_DIE, "%s",
2940     search_error_message);
2941
2942   /* Adjust parameters for the type of lookup. For a query-style lookup, there
2943   is no file name, and the "key" is just the query. For query-style with a file
2944   name, we have to fish the file off the start of the query. For a single-key
2945   lookup, the key is the current IP address, masked appropriately, and
2946   reconverted to text form, with the mask appended. For IPv6 addresses, specify
2947   dot separators instead of colons, except when the lookup type is "iplsearch".
2948   */
2949
2950   if (mac_islookup(search_type, lookup_absfilequery))
2951     {
2952     filename = semicolon + 1;
2953     key = filename;
2954     while (*key != 0 && !isspace(*key)) key++;
2955     filename = string_copyn(filename, key - filename);
2956     while (isspace(*key)) key++;
2957     }
2958   else if (mac_islookup(search_type, lookup_querystyle))
2959     {
2960     filename = NULL;
2961     key = semicolon + 1;
2962     }
2963   else   /* Single-key style */
2964     {
2965     int sep = (Ustrcmp(lookup_list[search_type]->name, "iplsearch") == 0)?
2966       ':' : '.';
2967     insize = host_aton(cb->host_address, incoming);
2968     host_mask(insize, incoming, mlen);
2969     (void)host_nmtoa(insize, incoming, mlen, buffer, sep);
2970     key = buffer;
2971     filename = semicolon + 1;
2972     }
2973
2974   /* Now do the actual lookup; note that there is no search_close() because
2975   of the caching arrangements. */
2976
2977   if (!(handle = search_open(filename, search_type, 0, NULL, NULL)))
2978     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "%s", search_error_message);
2979
2980   result = search_find(handle, filename, key, -1, NULL, 0, 0, NULL);
2981   if (valueptr != NULL) *valueptr = result;
2982   return (result != NULL)? OK : search_find_defer? DEFER: FAIL;
2983   }
2984
2985 /* The pattern is not an IP address or network reference of any kind. That is,
2986 it is a host name pattern. If this is an IP only match, there's an error in the
2987 host list. */
2988
2989 if (isiponly)
2990   {
2991   *error = US"cannot match host name in match_ip list";
2992   return ERROR;
2993   }
2994
2995 /* Check the characters of the pattern to see if they comprise only letters,
2996 digits, full stops, and hyphens (the constituents of domain names). Allow
2997 underscores, as they are all too commonly found. Sigh. Also, if
2998 allow_utf8_domains is set, allow top-bit characters. */
2999
3000 for (t = ss; *t != 0; t++)
3001   if (!isalnum(*t) && *t != '.' && *t != '-' && *t != '_' &&
3002       (!allow_utf8_domains || *t < 128)) break;
3003
3004 /* If the pattern is a complete domain name, with no fancy characters, look up
3005 its IP address and match against that. Note that a multi-homed host will add
3006 items to the chain. */
3007
3008 if (*t == 0)
3009   {
3010   int rc;
3011   host_item h;
3012   h.next = NULL;
3013   h.name = ss;
3014   h.address = NULL;
3015   h.mx = MX_NONE;
3016
3017   /* Using byname rather than bydns here means we cannot determine dnssec
3018   status.  On the other hand it is unclear how that could be either
3019   propagated up or enforced. */
3020
3021   rc = host_find_byname(&h, NULL, HOST_FIND_QUALIFY_SINGLE, NULL, FALSE);
3022   if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3023     {
3024     host_item *hh;
3025     for (hh = &h; hh != NULL; hh = hh->next)
3026       {
3027       if (host_is_in_net(hh->address, cb->host_address, 0)) return OK;
3028       }
3029     return FAIL;
3030     }
3031   if (rc == HOST_FIND_AGAIN) return DEFER;
3032   *error = string_sprintf("failed to find IP address for %s", ss);
3033   return ERROR;
3034   }
3035
3036 /* Almost all subsequent comparisons require the host name, and can be done
3037 using the general string matching function. When this function is called for
3038 outgoing hosts, the name is always given explicitly. If it is NULL, it means we
3039 must use sender_host_name and its aliases, looking them up if necessary. */
3040
3041 if (cb->host_name != NULL)   /* Explicit host name given */
3042   return match_check_string(cb->host_name, ss, -1, TRUE, TRUE, TRUE,
3043     valueptr);
3044
3045 /* Host name not given; in principle we need the sender host name and its
3046 aliases. However, for query-style lookups, we do not need the name if the
3047 query does not contain $sender_host_name. From release 4.23, a reference to
3048 $sender_host_name causes it to be looked up, so we don't need to do the lookup
3049 on spec. */
3050
3051 if ((semicolon = Ustrchr(ss, ';')) != NULL)
3052   {
3053   const uschar *affix;
3054   int partial, affixlen, starflags, id;
3055
3056   *semicolon = 0;
3057   id = search_findtype_partial(ss, &partial, &affix, &affixlen, &starflags);
3058   *semicolon=';';
3059
3060   if (id < 0)                           /* Unknown lookup type */
3061     {
3062     log_write(0, LOG_MAIN|LOG_PANIC, "%s in host list item \"%s\"",
3063       search_error_message, ss);
3064     return DEFER;
3065     }
3066   isquery = mac_islookup(id, lookup_querystyle|lookup_absfilequery);
3067   }
3068
3069 if (isquery)
3070   {
3071   switch(match_check_string(US"", ss, -1, TRUE, TRUE, TRUE, valueptr))
3072     {
3073     case OK:    return OK;
3074     case DEFER: return DEFER;
3075     default:    return FAIL;
3076     }
3077   }
3078
3079 /* Not a query-style lookup; must ensure the host name is present, and then we
3080 do a check on the name and all its aliases. */
3081
3082 if (sender_host_name == NULL)
3083   {
3084   HDEBUG(D_host_lookup)
3085     debug_printf("sender host name required, to match against %s\n", ss);
3086   if (host_lookup_failed || host_name_lookup() != OK)
3087     {
3088     *error = string_sprintf("failed to find host name for %s",
3089       sender_host_address);;
3090     return ERROR;
3091     }
3092   host_build_sender_fullhost();
3093   }
3094
3095 /* Match on the sender host name, using the general matching function */
3096
3097 switch(match_check_string(sender_host_name, ss, -1, TRUE, TRUE, TRUE,
3098        valueptr))
3099   {
3100   case OK:    return OK;
3101   case DEFER: return DEFER;
3102   }
3103
3104 /* If there are aliases, try matching on them. */
3105
3106 aliases = sender_host_aliases;
3107 while (*aliases != NULL)
3108   {
3109   switch(match_check_string(*aliases++, ss, -1, TRUE, TRUE, TRUE, valueptr))
3110     {
3111     case OK:    return OK;
3112     case DEFER: return DEFER;
3113     }
3114   }
3115 return FAIL;
3116 }
3117
3118
3119
3120
3121 /*************************************************
3122 *    Check a specific host matches a host list   *
3123 *************************************************/
3124
3125 /* This function is passed a host list containing items in a number of
3126 different formats and the identity of a host. Its job is to determine whether
3127 the given host is in the set of hosts defined by the list. The host name is
3128 passed as a pointer so that it can be looked up if needed and not already
3129 known. This is commonly the case when called from verify_check_host() to check
3130 an incoming connection. When called from elsewhere the host name should usually
3131 be set.
3132
3133 This function is now just a front end to match_check_list(), which runs common
3134 code for scanning a list. We pass it the check_host() function to perform a
3135 single test.
3136
3137 Arguments:
3138   listptr              pointer to the host list
3139   cache_bits           pointer to cache for named lists, or NULL
3140   host_name            the host name or NULL, implying use sender_host_name and
3141                          sender_host_aliases, looking them up if required
3142   host_address         the IP address
3143   valueptr             if not NULL, data from a lookup is passed back here
3144
3145 Returns:    OK    if the host is in the defined set
3146             FAIL  if the host is not in the defined set,
3147             DEFER if a data lookup deferred (not a host lookup)
3148
3149 If the host name was needed in order to make a comparison, and could not be
3150 determined from the IP address, the result is FAIL unless the item
3151 "+allow_unknown" was met earlier in the list, in which case OK is returned. */
3152
3153 int
3154 verify_check_this_host(const uschar **listptr, unsigned int *cache_bits,
3155   const uschar *host_name, const uschar *host_address, const uschar **valueptr)
3156 {
3157 int rc;
3158 unsigned int *local_cache_bits = cache_bits;
3159 const uschar *save_host_address = deliver_host_address;
3160 check_host_block cb = { .host_name = host_name, .host_address = host_address };
3161
3162 if (valueptr) *valueptr = NULL;
3163
3164 /* If the host address starts off ::ffff: it is an IPv6 address in
3165 IPv4-compatible mode. Find the IPv4 part for checking against IPv4
3166 addresses. */
3167
3168 cb.host_ipv4 = Ustrncmp(host_address, "::ffff:", 7) == 0
3169   ? host_address + 7 : host_address;
3170
3171 /* During the running of the check, put the IP address into $host_address. In
3172 the case of calls from the smtp transport, it will already be there. However,
3173 in other calls (e.g. when testing ignore_target_hosts), it won't. Just to be on
3174 the safe side, any existing setting is preserved, though as I write this
3175 (November 2004) I can't see any cases where it is actually needed. */
3176
3177 deliver_host_address = host_address;
3178 rc = match_check_list(
3179        listptr,                                /* the list */
3180        0,                                      /* separator character */
3181        &hostlist_anchor,                       /* anchor pointer */
3182        &local_cache_bits,                      /* cache pointer */
3183        check_host,                             /* function for testing */
3184        &cb,                                    /* argument for function */
3185        MCL_HOST,                               /* type of check */
3186        (host_address == sender_host_address)?
3187          US"host" : host_address,              /* text for debugging */
3188        valueptr);                              /* where to pass back data */
3189 deliver_host_address = save_host_address;
3190 return rc;
3191 }
3192
3193
3194
3195
3196 /*************************************************
3197 *      Check the given host item matches a list  *
3198 *************************************************/
3199 int
3200 verify_check_given_host(uschar **listptr, host_item *host)
3201 {
3202 return verify_check_this_host(CUSS listptr, NULL, host->name, host->address, NULL);
3203 }
3204
3205 /*************************************************
3206 *      Check the remote host matches a list      *
3207 *************************************************/
3208
3209 /* This is a front end to verify_check_this_host(), created because checking
3210 the remote host is a common occurrence. With luck, a good compiler will spot
3211 the tail recursion and optimize it. If there's no host address, this is
3212 command-line SMTP input - check against an empty string for the address.
3213
3214 Arguments:
3215   listptr              pointer to the host list
3216
3217 Returns:               the yield of verify_check_this_host(),
3218                        i.e. OK, FAIL, or DEFER
3219 */
3220
3221 int
3222 verify_check_host(uschar **listptr)
3223 {
3224 return verify_check_this_host(CUSS listptr, sender_host_cache, NULL,
3225   (sender_host_address == NULL)? US"" : sender_host_address, NULL);
3226 }
3227
3228
3229
3230
3231
3232 /*************************************************
3233 *              Invert an IP address              *
3234 *************************************************/
3235
3236 /* Originally just used for DNS xBL lists, now also used for the
3237 reverse_ip expansion operator.
3238
3239 Arguments:
3240   buffer         where to put the answer
3241   address        the address to invert
3242 */
3243
3244 void
3245 invert_address(uschar *buffer, uschar *address)
3246 {
3247 int bin[4];
3248 uschar *bptr = buffer;
3249
3250 /* If this is an IPv4 address mapped into IPv6 format, adjust the pointer
3251 to the IPv4 part only. */
3252
3253 if (Ustrncmp(address, "::ffff:", 7) == 0) address += 7;
3254
3255 /* Handle IPv4 address: when HAVE_IPV6 is false, the result of host_aton() is
3256 always 1. */
3257
3258 if (host_aton(address, bin) == 1)
3259   {
3260   int i;
3261   int x = bin[0];
3262   for (i = 0; i < 4; i++)
3263     {
3264     sprintf(CS bptr, "%d.", x & 255);
3265     while (*bptr) bptr++;
3266     x >>= 8;
3267     }
3268   }
3269
3270 /* Handle IPv6 address. Actually, as far as I know, there are no IPv6 addresses
3271 in any DNS black lists, and the format in which they will be looked up is
3272 unknown. This is just a guess. */
3273
3274 #if HAVE_IPV6
3275 else
3276   {
3277   int i, j;
3278   for (j = 3; j >= 0; j--)
3279     {
3280     int x = bin[j];
3281     for (i = 0; i < 8; i++)
3282       {
3283       sprintf(CS bptr, "%x.", x & 15);
3284       while (*bptr) bptr++;
3285       x >>= 4;
3286       }
3287     }
3288   }
3289 #endif
3290
3291 /* Remove trailing period -- this is needed so that both arbitrary
3292 dnsbl keydomains and inverted addresses may be combined with the
3293 same format string, "%s.%s" */
3294
3295 *(--bptr) = 0;
3296 }
3297
3298
3299
3300 /*************************************************
3301 *          Perform a single dnsbl lookup         *
3302 *************************************************/
3303
3304 /* This function is called from verify_check_dnsbl() below. It is also called
3305 recursively from within itself when domain and domain_txt are different
3306 pointers, in order to get the TXT record from the alternate domain.
3307
3308 Arguments:
3309   domain         the outer dnsbl domain
3310   domain_txt     alternate domain to lookup TXT record on success; when the
3311                    same domain is to be used, domain_txt == domain (that is,
3312                    the pointers must be identical, not just the text)
3313   keydomain      the current keydomain (for debug message)
3314   prepend        subdomain to lookup (like keydomain, but
3315                    reversed if IP address)
3316   iplist         the list of matching IP addresses, or NULL for "any"
3317   bitmask        true if bitmask matching is wanted
3318   match_type     condition for 'succeed' result
3319                    0 => Any RR in iplist     (=)
3320                    1 => No RR in iplist      (!=)
3321                    2 => All RRs in iplist    (==)
3322                    3 => Some RRs not in iplist (!==)
3323                    the two bits are defined as MT_NOT and MT_ALL
3324   defer_return   what to return for a defer
3325
3326 Returns:         OK if lookup succeeded
3327                  FAIL if not
3328 */
3329
3330 static int
3331 one_check_dnsbl(uschar *domain, uschar *domain_txt, uschar *keydomain,
3332   uschar *prepend, uschar *iplist, BOOL bitmask, int match_type,
3333   int defer_return)
3334 {
3335 dns_answer dnsa;
3336 dns_scan dnss;
3337 tree_node *t;
3338 dnsbl_cache_block *cb;
3339 int old_pool = store_pool;
3340 uschar query[256];         /* DNS domain max length */
3341
3342 /* Construct the specific query domainname */
3343
3344 if (!string_format(query, sizeof(query), "%s.%s", prepend, domain))
3345   {
3346   log_write(0, LOG_MAIN|LOG_PANIC, "dnslist query is too long "
3347     "(ignored): %s...", query);
3348   return FAIL;
3349   }
3350
3351 /* Look for this query in the cache. */
3352
3353 if (  (t = tree_search(dnsbl_cache, query))
3354    && (cb = t->data.ptr)->expiry > time(NULL)
3355    )
3356
3357 /* Previous lookup was cached */
3358
3359   {
3360   HDEBUG(D_dnsbl) debug_printf("using result of previous DNS lookup\n");
3361   }
3362
3363 /* If not cached from a previous lookup, we must do a DNS lookup, and
3364 cache the result in permanent memory. */
3365
3366 else
3367   {
3368   uint ttl = 3600;
3369
3370   store_pool = POOL_PERM;
3371
3372   if (t)
3373     {
3374     HDEBUG(D_dnsbl) debug_printf("cached data found but past valid time; ");
3375     }
3376
3377   else
3378     {   /* Set up a tree entry to cache the lookup */
3379     t = store_get(sizeof(tree_node) + Ustrlen(query));
3380     Ustrcpy(t->name, query);
3381     t->data.ptr = cb = store_get(sizeof(dnsbl_cache_block));
3382     (void)tree_insertnode(&dnsbl_cache, t);
3383     }
3384
3385   /* Do the DNS lookup . */
3386
3387   HDEBUG(D_dnsbl) debug_printf("new DNS lookup for %s\n", query);
3388   cb->rc = dns_basic_lookup(&dnsa, query, T_A);
3389   cb->text_set = FALSE;
3390   cb->text = NULL;
3391   cb->rhs = NULL;
3392
3393   /* If the lookup succeeded, cache the RHS address. The code allows for
3394   more than one address - this was for complete generality and the possible
3395   use of A6 records. However, A6 records have been reduced to experimental
3396   status (August 2001) and may die out. So they may never get used at all,
3397   let alone in dnsbl records. However, leave the code here, just in case.
3398
3399   Quite apart from one A6 RR generating multiple addresses, there are DNS
3400   lists that return more than one A record, so we must handle multiple
3401   addresses generated in that way as well.
3402
3403   Mark the cache entry with the "now" plus the minimum of the address TTLs,
3404   or some suitably far-future time if none were found. */
3405
3406   if (cb->rc == DNS_SUCCEED)
3407     {
3408     dns_record *rr;
3409     dns_address **addrp = &(cb->rhs);
3410     for (rr = dns_next_rr(&dnsa, &dnss, RESET_ANSWERS);
3411          rr;
3412          rr = dns_next_rr(&dnsa, &dnss, RESET_NEXT))
3413       {
3414       if (rr->type == T_A)
3415         {
3416         dns_address *da = dns_address_from_rr(&dnsa, rr);
3417         if (da)
3418           {
3419           *addrp = da;
3420           while (da->next != NULL) da = da->next;
3421           addrp = &(da->next);
3422           if (ttl > rr->ttl) ttl = rr->ttl;
3423           }
3424         }
3425       }
3426
3427     /* If we didn't find any A records, change the return code. This can
3428     happen when there is a CNAME record but there are no A records for what
3429     it points to. */
3430
3431     if (cb->rhs == NULL) cb->rc = DNS_NODATA;
3432     }
3433
3434   cb->expiry = time(NULL)+ttl;
3435   store_pool = old_pool;
3436   }
3437
3438 /* We now have the result of the DNS lookup, either newly done, or cached
3439 from a previous call. If the lookup succeeded, check against the address
3440 list if there is one. This may be a positive equality list (introduced by
3441 "="), a negative equality list (introduced by "!="), a positive bitmask
3442 list (introduced by "&"), or a negative bitmask list (introduced by "!&").*/
3443
3444 if (cb->rc == DNS_SUCCEED)
3445   {
3446   dns_address *da = NULL;
3447   uschar *addlist = cb->rhs->address;
3448
3449   /* For A and AAAA records, there may be multiple addresses from multiple
3450   records. For A6 records (currently not expected to be used) there may be
3451   multiple addresses from a single record. */
3452
3453   for (da = cb->rhs->next; da != NULL; da = da->next)
3454     addlist = string_sprintf("%s, %s", addlist, da->address);
3455
3456   HDEBUG(D_dnsbl) debug_printf("DNS lookup for %s succeeded (yielding %s)\n",
3457     query, addlist);
3458
3459   /* Address list check; this can be either for equality, or via a bitmask.
3460   In the latter case, all the bits must match. */
3461
3462   if (iplist != NULL)
3463     {
3464     for (da = cb->rhs; da != NULL; da = da->next)
3465       {
3466       int ipsep = ',';
3467       uschar ip[46];
3468       const uschar *ptr = iplist;
3469       uschar *res;
3470
3471       /* Handle exact matching */
3472
3473       if (!bitmask)
3474         {
3475         while ((res = string_nextinlist(&ptr, &ipsep, ip, sizeof(ip))) != NULL)
3476           {
3477           if (Ustrcmp(CS da->address, ip) == 0) break;
3478           }
3479         }
3480
3481       /* Handle bitmask matching */
3482
3483       else
3484         {
3485         int address[4];
3486         int mask = 0;
3487
3488         /* At present, all known DNS blocking lists use A records, with
3489         IPv4 addresses on the RHS encoding the information they return. I
3490         wonder if this will linger on as the last vestige of IPv4 when IPv6
3491         is ubiquitous? Anyway, for now we use paranoia code to completely
3492         ignore IPv6 addresses. The default mask is 0, which always matches.
3493         We change this only for IPv4 addresses in the list. */
3494
3495         if (host_aton(da->address, address) == 1) mask = address[0];
3496
3497         /* Scan the returned addresses, skipping any that are IPv6 */
3498
3499         while ((res = string_nextinlist(&ptr, &ipsep, ip, sizeof(ip))) != NULL)
3500           {
3501           if (host_aton(ip, address) != 1) continue;
3502           if ((address[0] & mask) == address[0]) break;
3503           }
3504         }
3505
3506       /* If either
3507
3508          (a) An IP address in an any ('=') list matched, or
3509          (b) No IP address in an all ('==') list matched
3510
3511       then we're done searching. */
3512
3513       if (((match_type & MT_ALL) != 0) == (res == NULL)) break;
3514       }
3515
3516     /* If da == NULL, either
3517
3518        (a) No IP address in an any ('=') list matched, or
3519        (b) An IP address in an all ('==') list didn't match
3520
3521     so behave as if the DNSBL lookup had not succeeded, i.e. the host is not on
3522     the list. */
3523
3524     if ((match_type == MT_NOT || match_type == MT_ALL) != (da == NULL))
3525       {
3526       HDEBUG(D_dnsbl)
3527         {
3528         uschar *res = NULL;
3529         switch(match_type)
3530           {
3531           case 0:
3532           res = US"was no match";
3533           break;
3534           case MT_NOT:
3535           res = US"was an exclude match";
3536           break;
3537           case MT_ALL:
3538           res = US"was an IP address that did not match";
3539           break;
3540           case MT_NOT|MT_ALL:
3541           res = US"were no IP addresses that did not match";
3542           break;
3543           }
3544         debug_printf("=> but we are not accepting this block class because\n");
3545         debug_printf("=> there %s for %s%c%s\n",
3546           res,
3547           ((match_type & MT_ALL) == 0)? "" : "=",
3548           bitmask? '&' : '=', iplist);
3549         }
3550       return FAIL;
3551       }
3552     }
3553
3554   /* Either there was no IP list, or the record matched, implying that the
3555   domain is on the list. We now want to find a corresponding TXT record. If an
3556   alternate domain is specified for the TXT record, call this function
3557   recursively to look that up; this has the side effect of re-checking that
3558   there is indeed an A record at the alternate domain. */
3559
3560   if (domain_txt != domain)
3561     return one_check_dnsbl(domain_txt, domain_txt, keydomain, prepend, NULL,
3562       FALSE, match_type, defer_return);
3563
3564   /* If there is no alternate domain, look up a TXT record in the main domain
3565   if it has not previously been cached. */
3566
3567   if (!cb->text_set)
3568     {
3569     cb->text_set = TRUE;
3570     if (dns_basic_lookup(&dnsa, query, T_TXT) == DNS_SUCCEED)
3571       {
3572       dns_record *rr;
3573       for (rr = dns_next_rr(&dnsa, &dnss, RESET_ANSWERS);
3574            rr != NULL;
3575            rr = dns_next_rr(&dnsa, &dnss, RESET_NEXT))
3576         if (rr->type == T_TXT) break;
3577       if (rr != NULL)
3578         {
3579         int len = (rr->data)[0];
3580         if (len > 511) len = 127;
3581         store_pool = POOL_PERM;
3582         cb->text = string_sprintf("%.*s", len, (const uschar *)(rr->data+1));
3583         store_pool = old_pool;
3584         }
3585       }
3586     }
3587
3588   dnslist_value = addlist;
3589   dnslist_text = cb->text;
3590   return OK;
3591   }
3592
3593 /* There was a problem with the DNS lookup */
3594
3595 if (cb->rc != DNS_NOMATCH && cb->rc != DNS_NODATA)
3596   {
3597   log_write(L_dnslist_defer, LOG_MAIN,
3598     "DNS list lookup defer (probably timeout) for %s: %s", query,
3599     (defer_return == OK)?   US"assumed in list" :
3600     (defer_return == FAIL)? US"assumed not in list" :
3601                             US"returned DEFER");
3602   return defer_return;
3603   }
3604
3605 /* No entry was found in the DNS; continue for next domain */
3606
3607 HDEBUG(D_dnsbl)
3608   {
3609   debug_printf("DNS lookup for %s failed\n", query);
3610   debug_printf("=> that means %s is not listed at %s\n",
3611      keydomain, domain);
3612   }
3613
3614 return FAIL;
3615 }
3616
3617
3618
3619
3620 /*************************************************
3621 *        Check host against DNS black lists      *
3622 *************************************************/
3623
3624 /* This function runs checks against a list of DNS black lists, until one
3625 matches. Each item on the list can be of the form
3626
3627   domain=ip-address/key
3628
3629 The domain is the right-most domain that is used for the query, for example,
3630 blackholes.mail-abuse.org. If the IP address is present, there is a match only
3631 if the DNS lookup returns a matching IP address. Several addresses may be
3632 given, comma-separated, for example: x.y.z=127.0.0.1,127.0.0.2.
3633
3634 If no key is given, what is looked up in the domain is the inverted IP address
3635 of the current client host. If a key is given, it is used to construct the
3636 domain for the lookup. For example:
3637
3638   dsn.rfc-ignorant.org/$sender_address_domain
3639
3640 After finding a match in the DNS, the domain is placed in $dnslist_domain, and
3641 then we check for a TXT record for an error message, and if found, save its
3642 value in $dnslist_text. We also cache everything in a tree, to optimize
3643 multiple lookups.
3644
3645 The TXT record is normally looked up in the same domain as the A record, but
3646 when many lists are combined in a single DNS domain, this will not be a very
3647 specific message. It is possible to specify a different domain for looking up
3648 TXT records; this is given before the main domain, comma-separated. For
3649 example:
3650
3651   dnslists = http.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.2 : \
3652              socks.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.3
3653
3654 The caching ensures that only one lookup in dnsbl.sorbs.net is done.
3655
3656 Note: an address for testing RBL is 192.203.178.39
3657 Note: an address for testing DUL is 192.203.178.4
3658 Note: a domain for testing RFCI is example.tld.dsn.rfc-ignorant.org
3659
3660 Arguments:
3661   where        the acl type
3662   listptr      the domain/address/data list
3663   log_msgptr   log message on error
3664
3665 Returns:    OK      successful lookup (i.e. the address is on the list), or
3666                       lookup deferred after +include_unknown
3667             FAIL    name not found, or no data found for the given type, or
3668                       lookup deferred after +exclude_unknown (default)
3669             DEFER   lookup failure, if +defer_unknown was set
3670 */
3671
3672 int
3673 verify_check_dnsbl(int where, const uschar ** listptr, uschar ** log_msgptr)
3674 {
3675 int sep = 0;
3676 int defer_return = FAIL;
3677 const uschar *list = *listptr;
3678 uschar *domain;
3679 uschar *s;
3680 uschar buffer[1024];
3681 uschar revadd[128];        /* Long enough for IPv6 address */
3682
3683 /* Indicate that the inverted IP address is not yet set up */
3684
3685 revadd[0] = 0;
3686
3687 /* In case this is the first time the DNS resolver is being used. */
3688
3689 dns_init(FALSE, FALSE, FALSE);  /*XXX dnssec? */
3690
3691 /* Loop through all the domains supplied, until something matches */
3692
3693 while ((domain = string_nextinlist(&list, &sep, buffer, sizeof(buffer))) != NULL)
3694   {
3695   int rc;
3696   BOOL bitmask = FALSE;
3697   int match_type = 0;
3698   uschar *domain_txt;
3699   uschar *comma;
3700   uschar *iplist;
3701   uschar *key;
3702
3703   HDEBUG(D_dnsbl) debug_printf("DNS list check: %s\n", domain);
3704
3705   /* Deal with special values that change the behaviour on defer */
3706
3707   if (domain[0] == '+')
3708     {
3709     if      (strcmpic(domain, US"+include_unknown") == 0) defer_return = OK;
3710     else if (strcmpic(domain, US"+exclude_unknown") == 0) defer_return = FAIL;
3711     else if (strcmpic(domain, US"+defer_unknown") == 0)   defer_return = DEFER;
3712     else
3713       log_write(0, LOG_MAIN|LOG_PANIC, "unknown item in dnslist (ignored): %s",
3714         domain);
3715     continue;
3716     }
3717
3718   /* See if there's explicit data to be looked up */
3719
3720   if ((key = Ustrchr(domain, '/'))) *key++ = 0;
3721
3722   /* See if there's a list of addresses supplied after the domain name. This is
3723   introduced by an = or a & character; if preceded by = we require all matches
3724   and if preceded by ! we invert the result. */
3725
3726   if (!(iplist = Ustrchr(domain, '=')))
3727     {
3728     bitmask = TRUE;
3729     iplist = Ustrchr(domain, '&');
3730     }
3731
3732   if (iplist)                                  /* Found either = or & */
3733     {
3734     if (iplist > domain && iplist[-1] == '!')  /* Handle preceding ! */
3735       {
3736       match_type |= MT_NOT;
3737       iplist[-1] = 0;
3738       }
3739
3740     *iplist++ = 0;                             /* Terminate domain, move on */
3741
3742     /* If we found = (bitmask == FALSE), check for == or =& */
3743
3744     if (!bitmask && (*iplist == '=' || *iplist == '&'))
3745       {
3746       bitmask = *iplist++ == '&';
3747       match_type |= MT_ALL;
3748       }
3749     }
3750
3751
3752   /* If there is a comma in the domain, it indicates that a second domain for
3753   looking up TXT records is provided, before the main domain. Otherwise we must
3754   set domain_txt == domain. */
3755
3756   domain_txt = domain;
3757   comma = Ustrchr(domain, ',');
3758   if (comma != NULL)
3759     {
3760     *comma++ = 0;
3761     domain = comma;
3762     }
3763
3764   /* Check that what we have left is a sensible domain name. There is no reason
3765   why these domains should in fact use the same syntax as hosts and email
3766   domains, but in practice they seem to. However, there is little point in
3767   actually causing an error here, because that would no doubt hold up incoming
3768   mail. Instead, I'll just log it. */
3769
3770   for (s = domain; *s != 0; s++)
3771     {
3772     if (!isalnum(*s) && *s != '-' && *s != '.' && *s != '_')
3773       {
3774       log_write(0, LOG_MAIN, "dnslists domain \"%s\" contains "
3775         "strange characters - is this right?", domain);
3776       break;
3777       }
3778     }
3779
3780   /* Check the alternate domain if present */
3781
3782   if (domain_txt != domain) for (s = domain_txt; *s != 0; s++)
3783     {
3784     if (!isalnum(*s) && *s != '-' && *s != '.' && *s != '_')
3785       {
3786       log_write(0, LOG_MAIN, "dnslists domain \"%s\" contains "
3787         "strange characters - is this right?", domain_txt);
3788       break;
3789       }
3790     }
3791
3792   /* If there is no key string, construct the query by adding the domain name
3793   onto the inverted host address, and perform a single DNS lookup. */
3794
3795   if (key == NULL)
3796     {
3797     if (where == ACL_WHERE_NOTSMTP_START || where == ACL_WHERE_NOTSMTP)
3798       {
3799       *log_msgptr = string_sprintf
3800         ("cannot test auto-keyed dnslists condition in %s ACL",
3801           acl_wherenames[where]);
3802       return ERROR;
3803       }
3804     if (sender_host_address == NULL) return FAIL;    /* can never match */
3805     if (revadd[0] == 0) invert_address(revadd, sender_host_address);
3806     rc = one_check_dnsbl(domain, domain_txt, sender_host_address, revadd,
3807       iplist, bitmask, match_type, defer_return);
3808     if (rc == OK)
3809       {
3810       dnslist_domain = string_copy(domain_txt);
3811       dnslist_matched = string_copy(sender_host_address);
3812       HDEBUG(D_dnsbl) debug_printf("=> that means %s is listed at %s\n",
3813         sender_host_address, dnslist_domain);
3814       }
3815     if (rc != FAIL) return rc;     /* OK or DEFER */
3816     }
3817
3818   /* If there is a key string, it can be a list of domains or IP addresses to
3819   be concatenated with the main domain. */
3820
3821   else
3822     {
3823     int keysep = 0;
3824     BOOL defer = FALSE;
3825     uschar *keydomain;
3826     uschar keybuffer[256];
3827     uschar keyrevadd[128];
3828
3829     while ((keydomain = string_nextinlist(CUSS &key, &keysep, keybuffer,
3830             sizeof(keybuffer))) != NULL)
3831       {
3832       uschar *prepend = keydomain;
3833
3834       if (string_is_ip_address(keydomain, NULL) != 0)
3835         {
3836         invert_address(keyrevadd, keydomain);
3837         prepend = keyrevadd;
3838         }
3839
3840       rc = one_check_dnsbl(domain, domain_txt, keydomain, prepend, iplist,
3841         bitmask, match_type, defer_return);
3842
3843       if (rc == OK)
3844         {
3845         dnslist_domain = string_copy(domain_txt);
3846         dnslist_matched = string_copy(keydomain);
3847         HDEBUG(D_dnsbl) debug_printf("=> that means %s is listed at %s\n",
3848           keydomain, dnslist_domain);
3849         return OK;
3850         }
3851
3852       /* If the lookup deferred, remember this fact. We keep trying the rest
3853       of the list to see if we get a useful result, and if we don't, we return
3854       DEFER at the end. */
3855
3856       if (rc == DEFER) defer = TRUE;
3857       }    /* continue with next keystring domain/address */
3858
3859     if (defer) return DEFER;
3860     }
3861   }        /* continue with next dnsdb outer domain */
3862
3863 return FAIL;
3864 }
3865
3866 /* vi: aw ai sw=2
3867 */
3868 /* End of verify.c */