src/src/host.c

   1 /*************************************************
   2 *     Exim - an Internet mail transport agent    *
   3 *************************************************/
   4
   5 /* Copyright (c) The Exim Maintainers 2020 - 2023 */
   6 /* Copyright (c) University of Cambridge 1995 - 2018 */
   7 /* See the file NOTICE for conditions of use and distribution. */
   8 /* SPDX-License-Identifier: GPL-2.0-or-later */
   9
  10 /* Functions for finding hosts, either by gethostbyname(), gethostbyaddr(), or
  11 directly via the DNS. When IPv6 is supported, getipnodebyname() and
  12 getipnodebyaddr() may be used instead of gethostbyname() and gethostbyaddr(),
  13 if the newer functions are available. This module also contains various other
  14 functions concerned with hosts and addresses, and a random number function,
  15 used for randomizing hosts with equal MXs but available for use in other parts
  16 of Exim. */
  17
  18
  19 #include "exim.h"
  20
  21
  22 /* Static variable for preserving the list of interface addresses in case it is
  23 used more than once. */
  24
  25 static ip_address_item *local_interface_data = NULL;
  26
  27
  28 #ifdef USE_INET_NTOA_FIX
  29 /*************************************************
  30 *         Replacement for broken inet_ntoa()     *
  31 *************************************************/
  32
  33 /* On IRIX systems, gcc uses a different structure passing convention to the
  34 native libraries. This causes inet_ntoa() to always yield 0.0.0.0 or
  35 255.255.255.255. To get round this, we provide a private version of the
  36 function here. It is used only if USE_INET_NTOA_FIX is set, which should happen
  37 only when gcc is in use on an IRIX system. Code send to me by J.T. Breitner,
  38 with these comments:
  39
  40   code by Stuart Levy
  41   as seen in comp.sys.sgi.admin
  42
  43 August 2005: Apparently this is also needed for AIX systems; USE_INET_NTOA_FIX
  44 should now be set for them as well.
  45
  46 Arguments:  sa  an in_addr structure
  47 Returns:        pointer to static text string
  48 */
  49
  50 char *
  51 inet_ntoa(struct in_addr sa)
  52 {
  53 static uschar addr[20];
  54 sprintf(addr, "%d.%d.%d.%d",
  55         (US &sa.s_addr)[0],
  56         (US &sa.s_addr)[1],
  57         (US &sa.s_addr)[2],
  58         (US &sa.s_addr)[3]);
  59   return addr;
  60 }
  61 #endif
  62
  63
  64
  65 /*************************************************
  66 *              Random number generator           *
  67 *************************************************/
  68
  69 /* This is a simple pseudo-random number generator. It does not have to be
  70 very good for the uses to which it is put. When running the regression tests,
  71 start with a fixed seed.
  72
  73 If you need better, see vaguely_random_number() which is potentially stronger,
  74 if a crypto library is available, but might end up just calling this instead.
  75
  76 Arguments:
  77   limit:    one more than the largest number required
  78
  79 Returns:    a pseudo-random number in the range 0 to limit-1
  80 */
  81
  82 int
  83 random_number(int limit)
  84 {
  85 if (limit < 1)
  86   return 0;
  87 if (random_seed == 0)
  88   if (f.running_in_test_harness)
  89     random_seed = 42;
  90   else
  91     {
  92     int p = (int)getpid();
  93     random_seed = (int)time(NULL) ^ ((p << 16) | p);
  94     }
  95 random_seed = 1103515245 * random_seed + 12345;
  96 return (unsigned int)(random_seed >> 16) % limit;
  97 }
  98
  99 /*************************************************
 100 *      Wrappers for logging lookup times         *
 101 *************************************************/
 102
 103 /* When the 'slow_lookup_log' variable is enabled, these wrappers will
 104 write to the log file all (potential) dns lookups that take more than
 105 slow_lookup_log milliseconds
 106 */
 107
 108 static void
 109 log_long_lookup(const uschar * type, const uschar * data, unsigned long msec)
 110 {
 111 log_write(0, LOG_MAIN, "Long %s lookup for '%s': %lu msec",
 112   type, data, msec);
 113 }
 114
 115
 116 /* returns the current system epoch time in milliseconds. */
 117 static unsigned long
 118 get_time_in_ms()
 119 {
 120 struct timeval tmp_time;
 121 unsigned long seconds, microseconds;
 122
 123 gettimeofday(&tmp_time, NULL);
 124 seconds = (unsigned long) tmp_time.tv_sec;
 125 microseconds = (unsigned long) tmp_time.tv_usec;
 126 return seconds*1000 + microseconds/1000;
 127 }
 128
 129
 130 static int
 131 dns_lookup_timerwrap(dns_answer *dnsa, const uschar *name, int type,
 132   const uschar **fully_qualified_name)
 133 {
 134 int retval;
 135 unsigned long time_msec;
 136
 137 if (!slow_lookup_log)
 138   return dns_lookup(dnsa, name, type, fully_qualified_name);
 139
 140 time_msec = get_time_in_ms();
 141 retval = dns_lookup(dnsa, name, type, fully_qualified_name);
 142 if ((time_msec = get_time_in_ms() - time_msec) > slow_lookup_log)
 143   log_long_lookup(dns_text_type(type), name, time_msec);
 144 return retval;
 145 }
 146
 147
 148 /*************************************************
 149 *       Replace gethostbyname() when testing     *
 150 *************************************************/
 151
 152 /* This function is called instead of gethostbyname(), gethostbyname2(), or
 153 getipnodebyname() when running in the test harness. . It also
 154 recognizes an unqualified "localhost" and forces it to the appropriate loopback
 155 address. IP addresses are treated as literals. For other names, it uses the DNS
 156 to find the host name. In the test harness, this means it will access only the
 157 fake DNS resolver.
 158
 159 Arguments:
 160   name          the host name or a textual IP address
 161   af            AF_INET or AF_INET6
 162   error_num     where to put an error code:
 163                 HOST_NOT_FOUND/TRY_AGAIN/NO_RECOVERY/NO_DATA
 164
 165 Returns:        a hostent structure or NULL for an error
 166 */
 167
 168 static struct hostent *
 169 host_fake_gethostbyname(const uschar *name, int af, int *error_num)
 170 {
 171 #if HAVE_IPV6
 172 int alen = (af == AF_INET)? sizeof(struct in_addr):sizeof(struct in6_addr);
 173 #else
 174 int alen = sizeof(struct in_addr);
 175 #endif
 176
 177 int ipa;
 178 const uschar *lname = name;
 179 uschar *adds;
 180 uschar **alist;
 181 struct hostent *yield;
 182 dns_answer * dnsa = store_get_dns_answer();
 183 dns_scan dnss;
 184
 185 DEBUG(D_host_lookup)
 186   debug_printf("using host_fake_gethostbyname for %s (%s)\n", name,
 187     af == AF_INET ? "IPv4" : "IPv6");
 188
 189 /* Handle unqualified "localhost" */
 190
 191 if (Ustrcmp(name, "localhost") == 0)
 192   lname = af == AF_INET ? US"127.0.0.1" : US"::1";
 193
 194 /* Handle a literal IP address */
 195
 196 if ((ipa = string_is_ip_address(lname, NULL)) != 0)
 197   if (   ipa == 4 && af == AF_INET
 198      ||  ipa == 6 && af == AF_INET6)
 199     {
 200     int x[4];
 201     yield = store_get(sizeof(struct hostent), GET_UNTAINTED);
 202     alist = store_get(2 * sizeof(char *), GET_UNTAINTED);
 203     adds  = store_get(alen, GET_UNTAINTED);
 204     yield->h_name = CS name;
 205     yield->h_aliases = NULL;
 206     yield->h_addrtype = af;
 207     yield->h_length = alen;
 208     yield->h_addr_list = CSS alist;
 209     *alist++ = adds;
 210     for (int n = host_aton(lname, x), i = 0; i < n; i++)
 211       {
 212       int y = x[i];
 213       *adds++ = (y >> 24) & 255;
 214       *adds++ = (y >> 16) & 255;
 215       *adds++ = (y >> 8) & 255;
 216       *adds++ = y & 255;
 217       }
 218     *alist = NULL;
 219     }
 220
 221   /* Wrong kind of literal address */
 222
 223   else
 224     {
 225     *error_num = HOST_NOT_FOUND;
 226     yield = NULL;
 227     goto out;
 228     }
 229
 230 /* Handle a host name */
 231
 232 else
 233   {
 234   int type = af == AF_INET ? T_A:T_AAAA;
 235   int rc = dns_lookup_timerwrap(dnsa, lname, type, NULL);
 236   int count = 0;
 237
 238   lookup_dnssec_authenticated = NULL;
 239
 240   switch(rc)
 241     {
 242     case DNS_SUCCEED: break;
 243     case DNS_NOMATCH: *error_num = HOST_NOT_FOUND; yield = NULL; goto out;
 244     case DNS_NODATA:  *error_num = NO_DATA; yield = NULL; goto out;
 245     case DNS_AGAIN:   *error_num = TRY_AGAIN; yield = NULL; goto out;
 246     default:
 247     case DNS_FAIL:    *error_num = NO_RECOVERY; yield = NULL; goto out;
 248     }
 249
 250   for (dns_record * rr = dns_next_rr(dnsa, &dnss, RESET_ANSWERS);
 251        rr;
 252        rr = dns_next_rr(dnsa, &dnss, RESET_NEXT)) if (rr->type == type)
 253     count++;
 254
 255   yield = store_get(sizeof(struct hostent), GET_UNTAINTED);
 256   alist = store_get((count + 1) * sizeof(char *), GET_UNTAINTED);
 257   adds  = store_get(count *alen, GET_UNTAINTED);
 258
 259   yield->h_name = CS name;
 260   yield->h_aliases = NULL;
 261   yield->h_addrtype = af;
 262   yield->h_length = alen;
 263   yield->h_addr_list = CSS alist;
 264
 265   for (dns_record * rr = dns_next_rr(dnsa, &dnss, RESET_ANSWERS);
 266        rr;
 267        rr = dns_next_rr(dnsa, &dnss, RESET_NEXT)) if (rr->type == type)
 268     {
 269     int x[4];
 270     dns_address *da;
 271     if (!(da = dns_address_from_rr(dnsa, rr))) break;
 272     *alist++ = adds;
 273     for (int n = host_aton(da->address, x), i = 0; i < n; i++)
 274       {
 275       int y = x[i];
 276       *adds++ = (y >> 24) & 255;
 277       *adds++ = (y >> 16) & 255;
 278       *adds++ = (y >> 8) & 255;
 279       *adds++ = y & 255;
 280       }
 281     }
 282   *alist = NULL;
 283   }
 284
 285 out:
 286
 287 store_free_dns_answer(dnsa);
 288 return yield;
 289 }
 290
 291
 292
 293 /*************************************************
 294 *       Build chain of host items from list      *
 295 *************************************************/
 296
 297 /* This function builds a chain of host items from a textual list of host
 298 names. It does not do any lookups. If randomize is true, the chain is build in
 299 a randomized order. There may be multiple groups of independently randomized
 300 hosts; they are delimited by a host name consisting of just "+".
 301
 302 Arguments:
 303   anchor      anchor for the chain
 304   list        text list
 305   randomize   TRUE for randomizing
 306
 307 Returns:      nothing
 308 */
 309
 310 void
 311 host_build_hostlist(host_item **anchor, const uschar *list, BOOL randomize)
 312 {
 313 int sep = 0;
 314 int fake_mx = MX_NONE;          /* This value is actually -1 */
 315 uschar *name;
 316
 317 if (!list) return;
 318 if (randomize) fake_mx--;       /* Start at -2 for randomizing */
 319
 320 *anchor = NULL;
 321
 322 while ((name = string_nextinlist(&list, &sep, NULL, 0)))
 323   {
 324   host_item *h;
 325
 326   if (name[0] == '+' && name[1] == 0)   /* "+" delimits a randomized group */
 327     {                                   /* ignore if not randomizing */
 328     if (randomize) fake_mx--;
 329     continue;
 330     }
 331
 332   h = store_get(sizeof(host_item), GET_UNTAINTED);
 333   h->name = name;
 334   h->address = NULL;
 335   h->port = PORT_NONE;
 336   h->mx = fake_mx;
 337   h->sort_key = randomize ? (-fake_mx)*1000 + random_number(1000) : 0;
 338   h->status = hstatus_unknown;
 339   h->why = hwhy_unknown;
 340   h->last_try = 0;
 341
 342   if (!*anchor)
 343     {
 344     h->next = NULL;
 345     *anchor = h;
 346     }
 347   else
 348     {
 349     host_item *hh = *anchor;
 350     if (h->sort_key < hh->sort_key)
 351       {
 352       h->next = hh;
 353       *anchor = h;
 354       }
 355     else
 356       {
 357       while (hh->next && h->sort_key >= hh->next->sort_key)
 358         hh = hh->next;
 359       h->next = hh->next;
 360       hh->next = h;
 361       }
 362     }
 363   }
 364 }
 365
 366
 367 /*************************************************
 368 *         Get port from a host item's name       *
 369 *************************************************/
 370
 371 /* This function is called when finding the IP address for a host that is in a
 372 list of hosts explicitly configured, such as in the manualroute router, or in a
 373 fallback hosts list. We see if there is a port specification at the end of the
 374 host name, and if so, remove it. A minimum length of 3 is required for the
 375 original name; nothing shorter is recognized as having a port.
 376
 377 We test for a name ending with a sequence of digits; if preceded by colon we
 378 have a port if the character before the colon is ] and the name starts with [
 379 or if there are no other colons in the name (i.e. it's not an IPv6 address).
 380
 381 Arguments:  pointer to the host item
 382 Returns:    a port number or PORT_NONE
 383 */
 384
 385 int
 386 host_item_get_port(host_item *h)
 387 {
 388 const uschar *p;
 389 int port, x;
 390 int len = Ustrlen(h->name);
 391
 392 if (len < 3 || (p = h->name + len - 1, !isdigit(*p))) return PORT_NONE;
 393
 394 /* Extract potential port number */
 395
 396 port = *p-- - '0';
 397 x = 10;
 398
 399 while (p > h->name + 1 && isdigit(*p))
 400   {
 401   port += (*p-- - '0') * x;
 402   x *= 10;
 403   }
 404
 405 /* The smallest value of p at this point is h->name + 1. */
 406
 407 if (*p != ':') return PORT_NONE;
 408
 409 if (p[-1] == ']' && h->name[0] == '[')
 410   h->name = string_copyn(h->name + 1, p - h->name - 2);
 411 else if (Ustrchr(h->name, ':') == p)
 412   h->name = string_copyn(h->name, p - h->name);
 413 else return PORT_NONE;
 414
 415 DEBUG(D_route|D_host_lookup) debug_printf("host=%s port=%d\n", h->name, port);
 416 return port;
 417 }
 418
 419
 420
 421 #ifndef STAND_ALONE    /* Omit when standalone testing */
 422
 423 /*************************************************
 424 *     Build sender_fullhost and sender_rcvhost   *
 425 *************************************************/
 426
 427 /* This function is called when sender_host_name and/or sender_helo_name
 428 have been set. Or might have been set - for a local message read off the spool
 429 they won't be. In that case, do nothing. Otherwise, set up the fullhost string
 430 as follows:
 431
 432 (a) No sender_host_name or sender_helo_name: "[ip address]"
 433 (b) Just sender_host_name: "host_name [ip address]"
 434 (c) Just sender_helo_name: "(helo_name) [ip address]" unless helo is IP
 435             in which case: "[ip address}"
 436 (d) The two are identical: "host_name [ip address]" includes helo = IP
 437 (e) The two are different: "host_name (helo_name) [ip address]"
 438
 439 If log_incoming_port is set, the sending host's port number is added to the IP
 440 address.
 441
 442 This function also builds sender_rcvhost for use in Received: lines, whose
 443 syntax is a bit different. This value also includes the RFC 1413 identity.
 444 There wouldn't be two different variables if I had got all this right in the
 445 first place.
 446
 447 Because this data may survive over more than one incoming SMTP message, it has
 448 to be in permanent store.  However, STARTTLS has to be forgotten and redone
 449 on a multi-message conn, so this will be called once per message then.  Hence
 450 we use malloc, so we can free.
 451
 452 Arguments:  none
 453 Returns:    nothing
 454 */
 455
 456 void
 457 host_build_sender_fullhost(void)
 458 {
 459 BOOL show_helo = TRUE;
 460 uschar * address, * fullhost, * rcvhost;
 461 rmark reset_point;
 462 int len;
 463
 464 if (!sender_host_address) return;
 465
 466 reset_point = store_mark();
 467
 468 /* Set up address, with or without the port. After discussion, it seems that
 469 the only format that doesn't cause trouble is [aaaa]:pppp. However, we can't
 470 use this directly as the first item for Received: because it ain't an RFC 2822
 471 domain. Sigh. */
 472
 473 address = string_sprintf("[%s]:%d", sender_host_address, sender_host_port);
 474 if (!LOGGING(incoming_port) || sender_host_port <= 0)
 475   *(Ustrrchr(address, ':')) = 0;
 476
 477 /* If there's no EHLO/HELO data, we can't show it. */
 478
 479 if (!sender_helo_name) show_helo = FALSE;
 480
 481 /* If HELO/EHLO was followed by an IP literal, it's messy because of two
 482 features of IPv6. Firstly, there's the "IPv6:" prefix (Exim is liberal and
 483 doesn't require this, for historical reasons). Secondly, IPv6 addresses may not
 484 be given in canonical form, so we have to canonicalize them before comparing. As
 485 it happens, the code works for both IPv4 and IPv6. */
 486
 487 else if (sender_helo_name[0] == '[' &&
 488          sender_helo_name[(len=Ustrlen(sender_helo_name))-1] == ']')
 489   {
 490   int offset = 1;
 491   uschar *helo_ip;
 492
 493   if (strncmpic(sender_helo_name + 1, US"IPv6:", 5) == 0) offset += 5;
 494   if (strncmpic(sender_helo_name + 1, US"IPv4:", 5) == 0) offset += 5;
 495
 496   helo_ip = string_copyn(sender_helo_name + offset, len - offset - 1);
 497
 498   if (string_is_ip_address(helo_ip, NULL) != 0)
 499     {
 500     int x[4], y[4];
 501     int sizex, sizey;
 502     uschar ipx[48], ipy[48];    /* large enough for full IPv6 */
 503
 504     sizex = host_aton(helo_ip, x);
 505     sizey = host_aton(sender_host_address, y);
 506
 507     (void)host_nmtoa(sizex, x, -1, ipx, ':');
 508     (void)host_nmtoa(sizey, y, -1, ipy, ':');
 509
 510     if (strcmpic(ipx, ipy) == 0) show_helo = FALSE;
 511     }
 512   }
 513
 514 /* Host name is not verified */
 515
 516 if (!sender_host_name)
 517   {
 518   uschar *portptr = Ustrstr(address, "]:");
 519   gstring * g;
 520   int adlen;    /* Sun compiler doesn't like ++ in initializers */
 521
 522   adlen = portptr ? (++portptr - address) : Ustrlen(address);
 523   fullhost = sender_helo_name
 524     ? string_sprintf("(%s) %s", sender_helo_name, address)
 525     : address;
 526
 527   g = string_catn(NULL, address, adlen);
 528
 529   if (sender_ident || show_helo || portptr)
 530     {
 531     int firstptr;
 532     g = string_catn(g, US" (", 2);
 533     firstptr = g->ptr;
 534
 535     if (portptr)
 536       g = string_append(g, 2, US"port=", portptr + 1);
 537
 538     if (show_helo)
 539       g = string_append(g, 2,
 540         firstptr == g->ptr ? US"helo=" : US" helo=", sender_helo_name);
 541
 542     if (sender_ident)
 543       g = string_append(g, 2,
 544         firstptr == g->ptr ? US"ident=" : US" ident=", sender_ident);
 545
 546     g = string_catn(g, US")", 1);
 547     }
 548
 549   rcvhost = string_from_gstring(g);
 550   }
 551
 552 /* Host name is known and verified. Unless we've already found that the HELO
 553 data matches the IP address, compare it with the name. */
 554
 555 else
 556   {
 557   if (show_helo && strcmpic(sender_host_name, sender_helo_name) == 0)
 558     show_helo = FALSE;
 559
 560   if (show_helo)
 561     {
 562     fullhost = string_sprintf("%s (%s) %s", sender_host_name,
 563       sender_helo_name, address);
 564     rcvhost = sender_ident
 565       ?  string_sprintf("%s\n\t(%s helo=%s ident=%s)", sender_host_name,
 566         address, sender_helo_name, sender_ident)
 567       : string_sprintf("%s (%s helo=%s)", sender_host_name,
 568         address, sender_helo_name);
 569     }
 570   else
 571     {
 572     fullhost = string_sprintf("%s %s", sender_host_name, address);
 573     rcvhost = sender_ident
 574       ?  string_sprintf("%s (%s ident=%s)", sender_host_name, address,
 575         sender_ident)
 576       : string_sprintf("%s (%s)", sender_host_name, address);
 577     }
 578   }
 579
 580 sender_fullhost = string_copy_perm(fullhost, TRUE);
 581 sender_rcvhost = string_copy_perm(rcvhost, TRUE);
 582
 583 store_reset(reset_point);
 584
 585 DEBUG(D_host_lookup) debug_printf("sender_fullhost = %s\n", sender_fullhost);
 586 DEBUG(D_host_lookup) debug_printf("sender_rcvhost = %s\n", sender_rcvhost);
 587 }
 588
 589
 590
 591 /*************************************************
 592 *          Build host+ident message              *
 593 *************************************************/
 594
 595 /* Used when logging rejections and various ACL and SMTP incidents. The text
 596 return depends on whether sender_fullhost and sender_ident are set or not:
 597
 598   no ident, no host   => U=unknown
 599   no ident, host set  => H=sender_fullhost
 600   ident set, no host  => U=ident
 601   ident set, host set => H=sender_fullhost U=ident
 602
 603 Arguments:
 604   useflag   TRUE if first item to be flagged (H= or U=); if there are two
 605               items, the second is always flagged
 606
 607 Returns:    pointer to an allocated string
 608 */
 609
 610 uschar *
 611 host_and_ident(BOOL useflag)
 612 {
 613 gstring * g = NULL;
 614
 615 if (!sender_fullhost)
 616   {
 617   if (useflag)
 618     g = string_catn(g, US"U=", 2);
 619   g = string_cat(g, sender_ident ? sender_ident : US"unknown");
 620   }
 621 else
 622   {
 623   if (useflag)
 624     g = string_catn(g, US"H=", 2);
 625   g = string_cat(g, sender_fullhost);
 626   if (LOGGING(incoming_interface) && interface_address)
 627     g = string_fmt_append(g, " I=[%s]:%d", interface_address, interface_port);
 628   if (sender_ident)
 629     g = string_fmt_append(g, " U=%s", sender_ident);
 630   }
 631 if (LOGGING(connection_id))
 632   g = string_fmt_append(g, " Ci=%lu", connection_id);
 633 gstring_release_unused(g);
 634 return string_from_gstring(g);
 635 }
 636
 637 #endif   /* STAND_ALONE */
 638
 639
 640
 641
 642 /*************************************************
 643 *         Build list of local interfaces         *
 644 *************************************************/
 645
 646 /* This function interprets the contents of the local_interfaces or
 647 extra_local_interfaces options, and creates an ip_address_item block for each
 648 item on the list. There is no special interpretation of any IP addresses; in
 649 particular, 0.0.0.0 and ::0 are returned without modification. If any address
 650 includes a port, it is set in the block. Otherwise the port value is set to
 651 zero.
 652
 653 Arguments:
 654   list        the list
 655   name        the name of the option being expanded
 656
 657 Returns:      a chain of ip_address_items, each containing to a textual
 658               version of an IP address, and a port number (host order) or
 659               zero if no port was given with the address
 660 */
 661
 662 ip_address_item *
 663 host_build_ifacelist(const uschar *list, uschar *name)
 664 {
 665 int sep = 0;
 666 uschar *s;
 667 ip_address_item * yield = NULL, * last = NULL, * next;
 668
 669 while ((s = string_nextinlist(&list, &sep, NULL, 0)))
 670   {
 671   int ipv;
 672   int port = host_address_extract_port(s);            /* Leaves just the IP address */
 673
 674   if (!(ipv = string_is_ip_address(s, NULL)))
 675     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Malformed IP address \"%s\" in %s",
 676       s, name);
 677
 678   /* Skip IPv6 addresses if IPv6 is disabled. */
 679
 680   if (disable_ipv6 && ipv == 6) continue;
 681
 682   /* This use of strcpy() is OK because we have checked that s is a valid IP
 683   address above. The field in the ip_address_item is large enough to hold an
 684   IPv6 address. */
 685
 686   next = store_get(sizeof(ip_address_item), list);
 687   next->next = NULL;
 688   Ustrcpy(next->address, s);
 689   next->port = port;
 690   next->v6_include_v4 = FALSE;
 691   next->log = NULL;
 692
 693   if (!yield)
 694     yield = last = next;
 695   else
 696     {
 697     last->next = next;
 698     last = next;
 699     }
 700   }
 701
 702 return yield;
 703 }
 704
 705
 706
 707
 708
 709 /*************************************************
 710 *         Find addresses on local interfaces     *
 711 *************************************************/
 712
 713 /* This function finds the addresses of local IP interfaces. These are used
 714 when testing for routing to the local host. As the function may be called more
 715 than once, the list is preserved in permanent store, pointed to by a static
 716 variable, to save doing the work more than once per process.
 717
 718 The generic list of interfaces is obtained by calling host_build_ifacelist()
 719 for local_interfaces and extra_local_interfaces. This list scanned to remove
 720 duplicates (which may exist with different ports - not relevant here). If
 721 either of the wildcard IP addresses (0.0.0.0 and ::0) are encountered, they are
 722 replaced by the appropriate (IPv4 or IPv6) list of actual local interfaces,
 723 obtained from os_find_running_interfaces().
 724
 725 Arguments:    none
 726 Returns:      a chain of ip_address_items, each containing to a textual
 727               version of an IP address; the port numbers are not relevant
 728 */
 729
 730
 731 /* First, a local subfunction to add an interface to a list in permanent store,
 732 but only if there isn't a previous copy of that address on the list. */
 733
 734 static ip_address_item *
 735 add_unique_interface(ip_address_item *list, ip_address_item *ipa)
 736 {
 737 ip_address_item *ipa2;
 738 for (ipa2 = list; ipa2; ipa2 = ipa2->next)
 739   if (Ustrcmp(ipa2->address, ipa->address) == 0) return list;
 740 ipa2 = store_get_perm(sizeof(ip_address_item), FALSE);
 741 *ipa2 = *ipa;
 742 ipa2->next = list;
 743 return ipa2;
 744 }
 745
 746
 747 /* This is the globally visible function */
 748
 749 ip_address_item *
 750 host_find_interfaces(void)
 751 {
 752 ip_address_item *running_interfaces = NULL;
 753
 754 if (!local_interface_data)
 755   {
 756   void *reset_item = store_mark();
 757   ip_address_item *dlist = host_build_ifacelist(CUS local_interfaces,
 758     US"local_interfaces");
 759   ip_address_item *xlist = host_build_ifacelist(CUS extra_local_interfaces,
 760     US"extra_local_interfaces");
 761   ip_address_item *ipa;
 762
 763   if (!dlist) dlist = xlist;
 764   else
 765     {
 766     for (ipa = dlist; ipa->next; ipa = ipa->next) ;
 767     ipa->next = xlist;
 768     }
 769
 770   for (ipa = dlist; ipa; ipa = ipa->next)
 771     {
 772     if (Ustrcmp(ipa->address, "0.0.0.0") == 0 ||
 773         Ustrcmp(ipa->address, "::0") == 0)
 774       {
 775       BOOL ipv6 = ipa->address[0] == ':';
 776       if (!running_interfaces)
 777         running_interfaces = os_find_running_interfaces();
 778       for (ip_address_item * ipa2 = running_interfaces; ipa2; ipa2 = ipa2->next)
 779         if ((Ustrchr(ipa2->address, ':') != NULL) == ipv6)
 780           local_interface_data = add_unique_interface(local_interface_data,
 781                                                       ipa2);
 782       }
 783     else
 784       {
 785       local_interface_data = add_unique_interface(local_interface_data, ipa);
 786       DEBUG(D_interface)
 787         {
 788         debug_printf("Configured local interface: address=%s", ipa->address);
 789         if (ipa->port != 0) debug_printf(" port=%d", ipa->port);
 790         debug_printf("\n");
 791         }
 792       }
 793     }
 794   store_reset(reset_item);
 795   }
 796
 797 return local_interface_data;
 798 }
 799
 800
 801
 802
 803
 804 /*************************************************
 805 *        Convert network IP address to text      *
 806 *************************************************/
 807
 808 /* Given an IPv4 or IPv6 address in binary, convert it to a text
 809 string and return the result in a piece of new store. The address can
 810 either be given directly, or passed over in a sockaddr structure. Note
 811 that this isn't the converse of host_aton() because of byte ordering
 812 differences. See host_nmtoa() below.
 813
 814 Arguments:
 815   type       if < 0 then arg points to a sockaddr, else
 816              either AF_INET or AF_INET6
 817   arg        points to a sockaddr if type is < 0, or
 818              points to an IPv4 address (32 bits), or
 819              points to an IPv6 address (128 bits),
 820              in both cases, in network byte order
 821   buffer     if NULL, the result is returned in gotten store;
 822              else points to a buffer to hold the answer
 823   portptr    points to where to put the port number, if non NULL; only
 824              used when type < 0
 825
 826 Returns:     pointer to character string
 827 */
 828
 829 uschar *
 830 host_ntoa(int type, const void * arg, uschar * buffer, int * portptr)
 831 {
 832 uschar * yield;
 833
 834 /* The new world. It is annoying that we have to fish out the address from
 835 different places in the block, depending on what kind of address it is. It
 836 is also a pain that inet_ntop() returns a const uschar *, whereas the IPv4
 837 function inet_ntoa() returns just uschar *, and some picky compilers insist
 838 on warning if one assigns a const uschar * to a uschar *. Hence the casts. */
 839
 840 #if HAVE_IPV6
 841 uschar addr_buffer[46];
 842 if (type < 0)
 843   {
 844   int family = ((struct sockaddr *)arg)->sa_family;
 845   if (family == AF_INET6)
 846     {
 847     struct sockaddr_in6 *sk = (struct sockaddr_in6 *)arg;
 848     yield = US inet_ntop(family, &(sk->sin6_addr), CS addr_buffer,
 849       sizeof(addr_buffer));
 850     if (portptr) *portptr = ntohs(sk->sin6_port);
 851     }
 852   else
 853     {
 854     struct sockaddr_in *sk = (struct sockaddr_in *)arg;
 855     yield = US inet_ntop(family, &(sk->sin_addr), CS addr_buffer,
 856       sizeof(addr_buffer));
 857     if (portptr) *portptr = ntohs(sk->sin_port);
 858     }
 859   }
 860 else
 861   {
 862   yield = US inet_ntop(type, arg, CS addr_buffer, sizeof(addr_buffer));
 863   }
 864
 865 /* If the result is a mapped IPv4 address, show it in V4 format. */
 866
 867 if (Ustrncmp(yield, "::ffff:", 7) == 0) yield += 7;
 868
 869 #else  /* HAVE_IPV6 */
 870
 871 /* The old world */
 872
 873 if (type < 0)
 874   {
 875   yield = US inet_ntoa(((struct sockaddr_in *)arg)->sin_addr);
 876   if (portptr) *portptr = ntohs(((struct sockaddr_in *)arg)->sin_port);
 877   }
 878 else
 879   yield = US inet_ntoa(*((struct in_addr *)arg));
 880 #endif
 881
 882 /* If there is no buffer, put the string into some new store. */
 883
 884 if (!buffer) buffer = store_get(46, GET_UNTAINTED);
 885
 886 /* Callers of this function with a non-NULL buffer must ensure that it is
 887 large enough to hold an IPv6 address, namely, at least 46 bytes. That's what
 888 makes this use of strcpy() OK.
 889 If the library returned apparently an apparently tainted string, clean it;
 890 we trust IP addresses. */
 891
 892 string_format_nt(buffer, 46, "%s", yield);
 893 return buffer;
 894 }
 895
 896
 897
 898
 899 /*************************************************
 900 *         Convert address text to binary         *
 901 *************************************************/
 902
 903 /* Given the textual form of an IP address, convert it to binary in an
 904 array of ints. IPv4 addresses occupy one int; IPv6 addresses occupy 4 ints.
 905 The result has the first byte in the most significant byte of the first int. In
 906 other words, the result is not in network byte order, but in host byte order.
 907 As a result, this is not the converse of host_ntoa(), which expects network
 908 byte order. See host_nmtoa() below.
 909
 910 Arguments:
 911   address    points to the textual address, checked for syntax
 912   bin        points to an array of 4 ints
 913
 914 Returns:     the number of ints used
 915 */
 916
 917 int
 918 host_aton(const uschar * address, int * bin)
 919 {
 920 int x[4];
 921 int v4offset = 0;
 922
 923 /* Handle IPv6 address, which may end with an IPv4 address. It may also end
 924 with a "scope", introduced by a percent sign. This code is NOT enclosed in #if
 925 HAVE_IPV6 in order that IPv6 addresses are recognized even if IPv6 is not
 926 supported. */
 927
 928 if (Ustrchr(address, ':') != NULL)
 929   {
 930   const uschar * p = address;
 931   const uschar * component[8];
 932   BOOL ipv4_ends = FALSE;
 933   int ci = 0, nulloffset = 0, v6count = 8, i;
 934
 935   /* If the address starts with a colon, it will start with two colons.
 936   Just lose the first one, which will leave a null first component. */
 937
 938   if (*p == ':') p++;
 939
 940   /* Split the address into components separated by colons. The input address
 941   is supposed to be checked for syntax. There was a case where this was
 942   overlooked; to guard against that happening again, check here and crash if
 943   there are too many components. */
 944
 945   while (*p && *p != '%')
 946     {
 947     int len = Ustrcspn(p, ":%");
 948     if (len == 0) nulloffset = ci;
 949     if (ci > 7) log_write(0, LOG_MAIN|LOG_PANIC_DIE,
 950       "Internal error: invalid IPv6 address \"%s\" passed to host_aton()",
 951       address);
 952     component[ci++] = p;
 953     p += len;
 954     if (*p == ':') p++;
 955     }
 956
 957   /* If the final component contains a dot, it is a trailing v4 address.
 958   As the syntax is known to be checked, just set up for a trailing
 959   v4 address and restrict the v6 part to 6 components. */
 960
 961   if (Ustrchr(component[ci-1], '.') != NULL)
 962     {
 963     address = component[--ci];
 964     ipv4_ends = TRUE;
 965     v4offset = 3;
 966     v6count = 6;
 967     }
 968
 969   /* If there are fewer than 6 or 8 components, we have to insert some
 970   more empty ones in the middle. */
 971
 972   if (ci < v6count)
 973     {
 974     int insert_count = v6count - ci;
 975     for (i = v6count-1; i > nulloffset + insert_count; i--)
 976       component[i] = component[i - insert_count];
 977     while (i > nulloffset) component[i--] = US"";
 978     }
 979
 980   /* Now turn the components into binary in pairs and bung them
 981   into the vector of ints. */
 982
 983   for (i = 0; i < v6count; i += 2)
 984     bin[i/2] = (Ustrtol(component[i], NULL, 16) << 16) +
 985       Ustrtol(component[i+1], NULL, 16);
 986
 987   /* If there was no terminating v4 component, we are done. */
 988
 989   if (!ipv4_ends) return 4;
 990   }
 991
 992 /* Handle IPv4 address */
 993
 994 (void)sscanf(CS address, "%d.%d.%d.%d", x, x+1, x+2, x+3);
 995 bin[v4offset] = ((uint)x[0] << 24) + (x[1] << 16) + (x[2] << 8) + x[3];
 996 return v4offset+1;
 997 }
 998
 999
1000 /*************************************************
1001 *           Apply mask to an IP address          *
1002 *************************************************/
1003
1004 /* Mask an address held in 1 or 4 ints, with the ms bit in the ms bit of the
1005 first int, etc.
1006
1007 Arguments:
1008   count        the number of ints
1009   binary       points to the ints to be masked
1010   mask         the count of ms bits to leave, or -1 if no masking
1011
1012 Returns:       nothing
1013 */
1014
1015 void
1016 host_mask(int count, int *binary, int mask)
1017 {
1018 if (mask < 0) mask = 99999;
1019 for (int i = 0; i < count; i++)
1020   {
1021   int wordmask;
1022   if (mask == 0) wordmask = 0;
1023   else if (mask < 32)
1024     {
1025     wordmask = (uint)(-1) << (32 - mask);
1026     mask = 0;
1027     }
1028   else
1029     {
1030     wordmask = -1;
1031     mask -= 32;
1032     }
1033   binary[i] &= wordmask;
1034   }
1035 }
1036
1037
1038
1039
1040 /*************************************************
1041 *     Convert masked IP address in ints to text  *
1042 *************************************************/
1043
1044 /* We can't use host_ntoa() because it assumes the binary values are in network
1045 byte order, and these are the result of host_aton(), which puts them in ints in
1046 host byte order. Also, we really want IPv6 addresses to be in a canonical
1047 format, so we output them with no abbreviation. In a number of cases we can't
1048 use the normal colon separator in them because it terminates keys in lsearch
1049 files, so we want to use dot instead. There's an argument that specifies what
1050 to use for IPv6 addresses.
1051
1052 Arguments:
1053   count       1 or 4 (number of ints)
1054   binary      points to the ints
1055   mask        mask value; if < 0 don't add to result
1056   buffer      big enough to hold the result
1057   sep         component separator character for IPv6 addresses
1058
1059 Returns:      the number of characters placed in buffer, not counting
1060               the final nul.
1061 */
1062
1063 int
1064 host_nmtoa(int count, const int * binary, int mask, uschar * buffer, int sep)
1065 {
1066 uschar * tt = buffer;
1067
1068 if (count == 1)
1069   for (int j = binary[0], i = 24; i >= 0; i -= 8)
1070     tt += sprintf(CS tt, "%d.", (j >> i) & 255);
1071 else
1072   for (int j, i = 0; i < 4; i++)
1073     {
1074     j = binary[i];
1075     tt += sprintf(CS tt, "%04x%c%04x%c", (j >> 16) & 0xffff, sep, j & 0xffff, sep);
1076     }
1077
1078 tt--;   /* lose final separator */
1079
1080 if (mask < 0)
1081   *tt = 0;
1082 else
1083   tt += sprintf(CS tt, "/%d", mask);
1084
1085 return tt - buffer;
1086 }
1087
1088
1089 /* Like host_nmtoa() but: ipv6-only, canonical output, no mask
1090
1091 Arguments:
1092   binary      points to the ints
1093   buffer      big enough to hold the result
1094
1095 Returns:      the number of characters placed in buffer, not counting
1096               the final nul.
1097 */
1098
1099 int
1100 ipv6_nmtoa(int * binary, uschar * buffer)
1101 {
1102 int i, j, k;
1103 uschar * c = buffer;
1104 uschar * d = NULL;      /* shut insufficiently "clever" compiler up */
1105
1106 for (i = 0; i < 4; i++)
1107   {                     /* expand to text */
1108   j = binary[i];
1109   c += sprintf(CS c, "%x:%x:", (j >> 16) & 0xffff, j & 0xffff);
1110   }
1111
1112 for (c = buffer, k = -1, i = 0; i < 8; i++)
1113   {                     /* find longest 0-group sequence */
1114   if (*c == '0')        /* must be "0:" */
1115     {
1116     uschar * s = c;
1117     j = i;
1118     while (c[2] == '0') i++, c += 2;
1119     if (i-j > k)
1120       {
1121       k = i-j;          /* length of sequence */
1122       d = s;            /* start of sequence */
1123       }
1124     }
1125   while (*++c != ':') ;
1126   c++;
1127   }
1128
1129 *--c = '\0';    /* drop trailing colon */
1130
1131 /* debug_printf("%s: D k %d <%s> <%s>\n", __FUNCTION__, k, buffer, buffer + 2*(k+1)); */
1132 if (k >= 0)
1133   {                     /* collapse */
1134   c = d + 2*(k+1);
1135   if (d == buffer) c--; /* need extra colon */
1136   *d++ = ':';   /* 1st 0 */
1137   while ((*d++ = *c++)) ;
1138   }
1139 else
1140   d = c;
1141
1142 return d - buffer;
1143 }
1144
1145
1146
1147 /*************************************************
1148 *        Check port for tls_on_connect           *
1149 *************************************************/
1150
1151 /* This function checks whether a given incoming port is configured for tls-
1152 on-connect. It is called from the daemon and from inetd handling. If the global
1153 option tls_on_connect is already set, all ports operate this way. Otherwise, we
1154 check the tls_on_connect_ports option for a list of ports.
1155
1156 Argument:  a port number
1157 Returns:   TRUE or FALSE
1158 */
1159
1160 BOOL
1161 host_is_tls_on_connect_port(int port)
1162 {
1163 int sep = 0;
1164 const uschar * list = tls_in.on_connect_ports;
1165
1166 if (tls_in.on_connect) return TRUE;
1167
1168 for (uschar * s, * end; s = string_nextinlist(&list, &sep, NULL, 0); )
1169   if (Ustrtol(s, &end, 10) == port)
1170     return TRUE;
1171
1172 return FALSE;
1173 }
1174
1175
1176
1177 /*************************************************
1178 *        Check whether host is in a network      *
1179 *************************************************/
1180
1181 /* This function checks whether a given IP address matches a pattern that
1182 represents either a single host, or a network (using CIDR notation). The caller
1183 of this function must check the syntax of the arguments before calling it.
1184
1185 Arguments:
1186   host        string representation of the ip-address to check
1187   net         string representation of the network, with optional CIDR mask
1188   maskoffset  offset to the / that introduces the mask in the key
1189               zero if there is no mask
1190
1191 Returns:
1192   TRUE   the host is inside the network
1193   FALSE  the host is NOT inside the network
1194 */
1195
1196 BOOL
1197 host_is_in_net(const uschar *host, const uschar *net, int maskoffset)
1198 {
1199 int address[4];
1200 int incoming[4];
1201 int mlen;
1202 int size = host_aton(net, address);
1203 int insize;
1204
1205 /* No mask => all bits to be checked */
1206
1207 if (maskoffset == 0) mlen = 99999;    /* Big number */
1208   else mlen = Uatoi(net + maskoffset + 1);
1209
1210 /* Convert the incoming address to binary. */
1211
1212 insize = host_aton(host, incoming);
1213
1214 /* Convert IPv4 addresses given in IPv6 compatible mode, which represent
1215    connections from IPv4 hosts to IPv6 hosts, that is, addresses of the form
1216    ::ffff:<v4address>, to IPv4 format. */
1217
1218 if (insize == 4 && incoming[0] == 0 && incoming[1] == 0 &&
1219     incoming[2] == 0xffff)
1220   {
1221   insize = 1;
1222   incoming[0] = incoming[3];
1223   }
1224
1225 /* No match if the sizes don't agree. */
1226
1227 if (insize != size) return FALSE;
1228
1229 /* Else do the masked comparison. */
1230
1231 for (int i = 0; i < size; i++)
1232   {
1233   int mask;
1234   if (mlen == 0) mask = 0;
1235   else if (mlen < 32)
1236     {
1237     mask = (uint)(-1) << (32 - mlen);
1238     mlen = 0;
1239     }
1240   else
1241     {
1242     mask = -1;
1243     mlen -= 32;
1244     }
1245   if ((incoming[i] & mask) != (address[i] & mask)) return FALSE;
1246   }
1247
1248 return TRUE;
1249 }
1250
1251
1252
1253 /*************************************************
1254 *       Scan host list for local hosts           *
1255 *************************************************/
1256
1257 /* Scan through a chain of addresses and check whether any of them is the
1258 address of an interface on the local machine. If so, remove that address and
1259 any previous ones with the same MX value, and all subsequent ones (which will
1260 have greater or equal MX values) from the chain. Note: marking them as unusable
1261 is NOT the right thing to do because it causes the hosts not to be used for
1262 other domains, for which they may well be correct.
1263
1264 The hosts may be part of a longer chain; we only process those between the
1265 initial pointer and the "last" pointer.
1266
1267 There is also a list of "pseudo-local" host names which are checked against the
1268 host names. Any match causes that host item to be treated the same as one which
1269 matches a local IP address.
1270
1271 If the very first host is a local host, then all MX records had a precedence
1272 greater than or equal to that of the local host. Either there's a problem in
1273 the DNS, or an apparently remote name turned out to be an abbreviation for the
1274 local host. Give a specific return code, and let the caller decide what to do.
1275 Otherwise, give a success code if at least one host address has been found.
1276
1277 Arguments:
1278   host        pointer to the first host in the chain
1279   lastptr     pointer to pointer to the last host in the chain (may be updated)
1280   removed     if not NULL, set TRUE if some local addresses were removed
1281                 from the list
1282
1283 Returns:
1284   HOST_FOUND       if there is at least one host with an IP address on the chain
1285                      and an MX value less than any MX value associated with the
1286                      local host
1287   HOST_FOUND_LOCAL if a local host is among the lowest-numbered MX hosts; when
1288                      the host addresses were obtained from A records or
1289                      gethostbyname(), the MX values are set to -1.
1290   HOST_FIND_FAILED if no valid hosts with set IP addresses were found
1291 */
1292
1293 int
1294 host_scan_for_local_hosts(host_item *host, host_item **lastptr, BOOL *removed)
1295 {
1296 int yield = HOST_FIND_FAILED;
1297 host_item *last = *lastptr;
1298 host_item *prev = NULL;
1299 host_item *h;
1300
1301 if (removed != NULL) *removed = FALSE;
1302
1303 if (local_interface_data == NULL) local_interface_data = host_find_interfaces();
1304
1305 for (h = host; h != last->next; h = h->next)
1306   {
1307   #ifndef STAND_ALONE
1308   if (hosts_treat_as_local != NULL)
1309     {
1310     int rc;
1311     const uschar *save = deliver_domain;
1312     deliver_domain = h->name;   /* set $domain */
1313     rc = match_isinlist(string_copylc(h->name), CUSS &hosts_treat_as_local, 0,
1314       &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL);
1315     deliver_domain = save;
1316     if (rc == OK) goto FOUND_LOCAL;
1317     }
1318   #endif
1319
1320   /* It seems that on many operating systems, 0.0.0.0 is treated as a synonym
1321   for 127.0.0.1 and refers to the local host. We therefore force it always to
1322   be treated as local. */
1323
1324   if (h->address != NULL)
1325     {
1326     if (Ustrcmp(h->address, "0.0.0.0") == 0) goto FOUND_LOCAL;
1327     for (ip_address_item * ip = local_interface_data; ip; ip = ip->next)
1328       if (Ustrcmp(h->address, ip->address) == 0) goto FOUND_LOCAL;
1329     yield = HOST_FOUND;  /* At least one remote address has been found */
1330     }
1331
1332   /* Update prev to point to the last host item before any that have
1333   the same MX value as the one we have just considered. */
1334
1335   if (h->next == NULL || h->next->mx != h->mx) prev = h;
1336   }
1337
1338 return yield;  /* No local hosts found: return HOST_FOUND or HOST_FIND_FAILED */
1339
1340 /* A host whose IP address matches a local IP address, or whose name matches
1341 something in hosts_treat_as_local has been found. */
1342
1343 FOUND_LOCAL:
1344
1345 if (prev == NULL)
1346   {
1347   HDEBUG(D_host_lookup) debug_printf((h->mx >= 0)?
1348     "local host has lowest MX\n" :
1349     "local host found for non-MX address\n");
1350   return HOST_FOUND_LOCAL;
1351   }
1352
1353 HDEBUG(D_host_lookup)
1354   {
1355   debug_printf("local host in host list - removed hosts:\n");
1356   for (h = prev->next; h != last->next; h = h->next)
1357     debug_printf("  %s %s %d\n", h->name, h->address, h->mx);
1358   }
1359
1360 if (removed != NULL) *removed = TRUE;
1361 prev->next = last->next;
1362 *lastptr = prev;
1363 return yield;
1364 }
1365
1366
1367
1368
1369 /*************************************************
1370 *        Remove duplicate IPs in host list       *
1371 *************************************************/
1372
1373 /* You would think that administrators could set up their DNS records so that
1374 one ended up with a list of unique IP addresses after looking up A or MX
1375 records, but apparently duplication is common. So we scan such lists and
1376 remove the later duplicates. Note that we may get lists in which some host
1377 addresses are not set.
1378
1379 Arguments:
1380   host        pointer to the first host in the chain
1381   lastptr     pointer to pointer to the last host in the chain (may be updated)
1382
1383 Returns:      nothing
1384 */
1385
1386 static void
1387 host_remove_duplicates(host_item *host, host_item **lastptr)
1388 {
1389 while (host != *lastptr)
1390   {
1391   if (host->address != NULL)
1392     {
1393     host_item *h = host;
1394     while (h != *lastptr)
1395       {
1396       if (h->next->address != NULL &&
1397           Ustrcmp(h->next->address, host->address) == 0)
1398         {
1399         DEBUG(D_host_lookup) debug_printf("duplicate IP address %s (MX=%d) "
1400           "removed\n", host->address, h->next->mx);
1401         if (h->next == *lastptr) *lastptr = h;
1402         h->next = h->next->next;
1403         }
1404       else h = h->next;
1405       }
1406     }
1407   /* If the last item was removed, host may have become == *lastptr */
1408   if (host != *lastptr) host = host->next;
1409   }
1410 }
1411
1412
1413
1414
1415 /*************************************************
1416 *    Find sender host name by gethostbyaddr()    *
1417 *************************************************/
1418
1419 /* This used to be the only way it was done, but it turns out that not all
1420 systems give aliases for calls to gethostbyaddr() - or one of the modern
1421 equivalents like getipnodebyaddr(). Fortunately, multiple PTR records are rare,
1422 but they can still exist. This function is now used only when a DNS lookup of
1423 the IP address fails, in order to give access to /etc/hosts.
1424
1425 Arguments:   none
1426 Returns:     OK, DEFER, FAIL
1427 */
1428
1429 static int
1430 host_name_lookup_byaddr(void)
1431 {
1432 struct hostent * hosts;
1433 struct in_addr addr;
1434 unsigned long time_msec = 0;    /* init to quieten dumb static analysis */
1435
1436 if (slow_lookup_log) time_msec = get_time_in_ms();
1437
1438 /* Lookup on IPv6 system */
1439
1440 #if HAVE_IPV6
1441 if (Ustrchr(sender_host_address, ':') != NULL)
1442   {
1443   struct in6_addr addr6;
1444   if (inet_pton(AF_INET6, CS sender_host_address, &addr6) != 1)
1445     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "unable to parse \"%s\" as an "
1446       "IPv6 address", sender_host_address);
1447   #if HAVE_GETIPNODEBYADDR
1448   hosts = getipnodebyaddr(CS &addr6, sizeof(addr6), AF_INET6, &h_errno);
1449   #else
1450   hosts = gethostbyaddr(CS &addr6, sizeof(addr6), AF_INET6);
1451   #endif
1452   }
1453 else
1454   {
1455   if (inet_pton(AF_INET, CS sender_host_address, &addr) != 1)
1456     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "unable to parse \"%s\" as an "
1457       "IPv4 address", sender_host_address);
1458   #if HAVE_GETIPNODEBYADDR
1459   hosts = getipnodebyaddr(CS &addr, sizeof(addr), AF_INET, &h_errno);
1460   #else
1461   hosts = gethostbyaddr(CS &addr, sizeof(addr), AF_INET);
1462   #endif
1463   }
1464
1465 /* Do lookup on IPv4 system */
1466
1467 #else
1468 addr.s_addr = (S_ADDR_TYPE)inet_addr(CS sender_host_address);
1469 hosts = gethostbyaddr(CS(&addr), sizeof(addr), AF_INET);
1470 #endif
1471
1472 if (  slow_lookup_log
1473    && (time_msec = get_time_in_ms() - time_msec) > slow_lookup_log
1474    )
1475   log_long_lookup(US"gethostbyaddr", sender_host_address, time_msec);
1476
1477 /* Failed to look up the host. */
1478
1479 if (!hosts)
1480   {
1481   HDEBUG(D_host_lookup) debug_printf("IP address lookup failed: h_errno=%d\n",
1482     h_errno);
1483   return (h_errno == TRY_AGAIN || h_errno == NO_RECOVERY) ? DEFER : FAIL;
1484   }
1485
1486 /* It seems there are some records in the DNS that yield an empty name. We
1487 treat this as non-existent. In some operating systems, this is returned as an
1488 empty string; in others as a single dot. */
1489
1490 if (!hosts->h_name || !hosts->h_name[0] || hosts->h_name[0] == '.')
1491   {
1492   HDEBUG(D_host_lookup) debug_printf("IP address lookup yielded an empty name: "
1493     "treated as non-existent host name\n");
1494   return FAIL;
1495   }
1496
1497 /* Copy and lowercase the name, which is in static storage in many systems.
1498 Put it in permanent memory. */
1499
1500   {
1501   int old_pool = store_pool;
1502   store_pool = POOL_TAINT_PERM;         /* names are tainted */
1503
1504   sender_host_name = string_copylc(US hosts->h_name);
1505
1506   /* If the host has aliases, build a copy of the alias list */
1507
1508   if (hosts->h_aliases)
1509     {
1510     int count = 1;  /* need 1 more for terminating NULL */
1511     uschar **ptr;
1512
1513     for (uschar ** aliases = USS hosts->h_aliases; *aliases; aliases++) count++;
1514     store_pool = POOL_PERM;
1515     ptr = sender_host_aliases = store_get(count * sizeof(uschar *), GET_UNTAINTED);
1516     store_pool = POOL_TAINT_PERM;
1517
1518     for (uschar ** aliases = USS hosts->h_aliases; *aliases; aliases++)
1519       *ptr++ = string_copylc(*aliases);
1520     *ptr = NULL;
1521     }
1522   store_pool = old_pool;
1523   }
1524
1525 return OK;
1526 }
1527
1528
1529
1530 /*************************************************
1531 *        Find host name for incoming call        *
1532 *************************************************/
1533
1534 /* Put the name in permanent store, pointed to by sender_host_name. We also set
1535 up a list of alias names, pointed to by sender_host_alias. The list is
1536 NULL-terminated. The incoming address is in sender_host_address, either in
1537 dotted-quad form for IPv4 or in colon-separated form for IPv6.
1538
1539 This function does a thorough check that the names it finds point back to the
1540 incoming IP address. Any that do not are discarded. Note that this is relied on
1541 by the ACL reverse_host_lookup check.
1542
1543 On some systems, get{host,ipnode}byaddr() appears to do this internally, but
1544 this it not universally true. Also, for release 4.30, this function was changed
1545 to do a direct DNS lookup first, by default[1], because it turns out that that
1546 is the only guaranteed way to find all the aliases on some systems. My
1547 experiments indicate that Solaris gethostbyaddr() gives the aliases for but
1548 Linux does not.
1549
1550 [1] The actual order is controlled by the host_lookup_order option.
1551
1552 Arguments:    none
1553 Returns:      OK on success, the answer being placed in the global variable
1554                 sender_host_name, with any aliases in a list hung off
1555                 sender_host_aliases
1556               FAIL if no host name can be found
1557               DEFER if a temporary error was encountered
1558
1559 The variable host_lookup_msg is set to an empty string on success, or to a
1560 reason for the failure otherwise, in a form suitable for tagging onto an error
1561 message, and also host_lookup_failed is set TRUE if the lookup failed. If there
1562 was a defer, host_lookup_deferred is set TRUE.
1563
1564 Any dynamically constructed string for host_lookup_msg must be in permanent
1565 store, because it might be used for several incoming messages on the same SMTP
1566 connection. */
1567
1568 int
1569 host_name_lookup(void)
1570 {
1571 int old_pool, rc;
1572 int sep = 0;
1573 uschar *save_hostname;
1574 uschar **aliases;
1575 uschar *ordername;
1576 const uschar *list = host_lookup_order;
1577 dns_answer * dnsa = store_get_dns_answer();
1578 dns_scan dnss;
1579
1580 sender_host_dnssec = host_lookup_deferred = host_lookup_failed = FALSE;
1581
1582 HDEBUG(D_host_lookup)
1583   debug_printf("looking up host name for %s\n", sender_host_address);
1584
1585 /* For testing the case when a lookup does not complete, we have a special
1586 reserved IP address. */
1587
1588 if (f.running_in_test_harness &&
1589     Ustrcmp(sender_host_address, "99.99.99.99") == 0)
1590   {
1591   HDEBUG(D_host_lookup)
1592     debug_printf("Test harness: host name lookup returns DEFER\n");
1593   host_lookup_deferred = TRUE;
1594   return DEFER;
1595   }
1596
1597 /* Do lookups directly in the DNS or via gethostbyaddr() (or equivalent), in
1598 the order specified by the host_lookup_order option. */
1599
1600 while ((ordername = string_nextinlist(&list, &sep, NULL, 0)))
1601   {
1602   if (strcmpic(ordername, US"bydns") == 0)
1603     {
1604     uschar * name = dns_build_reverse(sender_host_address);
1605
1606     dns_init(FALSE, FALSE, FALSE);    /* dnssec ctrl by dns_dnssec_ok glbl */
1607     rc = dns_lookup_timerwrap(dnsa, name, T_PTR, NULL);
1608
1609     /* The first record we come across is used for the name; others are
1610     considered to be aliases. We have to scan twice, in order to find out the
1611     number of aliases. However, if all the names are empty, we will behave as
1612     if failure. (PTR records that yield empty names have been encountered in
1613     the DNS.) */
1614
1615     if (rc == DNS_SUCCEED)
1616       {
1617       uschar **aptr = NULL;
1618       int ssize = 264;
1619       int count = 1;  /* need 1 more for terminating NULL */
1620       int old_pool = store_pool;
1621
1622       sender_host_dnssec = dns_is_secure(dnsa);
1623       DEBUG(D_dns)
1624         debug_printf("Reverse DNS security status: %s\n",
1625             sender_host_dnssec ? "DNSSEC verified (AD)" : "unverified");
1626
1627       store_pool = POOL_PERM;        /* Save names in permanent storage */
1628
1629       for (dns_record * rr = dns_next_rr(dnsa, &dnss, RESET_ANSWERS);
1630            rr;
1631            rr = dns_next_rr(dnsa, &dnss, RESET_NEXT)) if (rr->type == T_PTR)
1632         count++;
1633
1634       /* Get store for the list of aliases. For compatibility with
1635       gethostbyaddr, we make an empty list if there are none. */
1636
1637       aptr = sender_host_aliases = store_get(count * sizeof(uschar *), GET_UNTAINTED);
1638
1639       /* Re-scan and extract the names */
1640
1641       for (dns_record * rr = dns_next_rr(dnsa, &dnss, RESET_ANSWERS);
1642            rr;
1643            rr = dns_next_rr(dnsa, &dnss, RESET_NEXT)) if (rr->type == T_PTR)
1644         {
1645         uschar * s = store_get(ssize, GET_TAINTED);     /* names are tainted */
1646         unsigned slen;
1647
1648         /* If an overlong response was received, the data will have been
1649         truncated and dn_expand may fail. */
1650
1651         if (dn_expand(dnsa->answer, dnsa->answer + dnsa->answerlen,
1652              US (rr->data), (DN_EXPAND_ARG4_TYPE)(s), ssize) < 0)
1653           {
1654           log_write(0, LOG_MAIN, "host name alias list truncated for %s",
1655             sender_host_address);
1656           break;
1657           }
1658
1659         store_release_above(s + (slen = Ustrlen(s)) + 1);
1660         if (!*s)
1661           {
1662           HDEBUG(D_host_lookup) debug_printf("IP address lookup yielded an "
1663             "empty name: treated as non-existent host name\n");
1664           continue;
1665           }
1666         if (Ustrspn(s, letter_digit_hyphen_dot) != slen)
1667           {
1668           HDEBUG(D_host_lookup) debug_printf("IP address lookup yielded an "
1669             "illegal name (bad char): treated as non-existent host name\n");
1670           continue;
1671           }
1672         if (!sender_host_name) sender_host_name = s;
1673         else *aptr++ = s;
1674         while (*s) { *s = tolower(*s); s++; }
1675         }
1676
1677       *aptr = NULL;            /* End of alias list */
1678       store_pool = old_pool;   /* Reset store pool */
1679
1680       /* If we've found a name, break out of the "order" loop */
1681
1682       if (sender_host_name) break;
1683       }
1684
1685     /* If the DNS lookup deferred, we must also defer. */
1686
1687     if (rc == DNS_AGAIN)
1688       {
1689       HDEBUG(D_host_lookup)
1690         debug_printf("IP address PTR lookup gave temporary error\n");
1691       host_lookup_deferred = TRUE;
1692       return DEFER;
1693       }
1694     }
1695
1696   /* Do a lookup using gethostbyaddr() - or equivalent */
1697
1698   else if (strcmpic(ordername, US"byaddr") == 0)
1699     {
1700     HDEBUG(D_host_lookup)
1701       debug_printf("IP address lookup using gethostbyaddr()\n");
1702     rc = host_name_lookup_byaddr();
1703     if (rc == DEFER)
1704       {
1705       host_lookup_deferred = TRUE;
1706       return rc;                       /* Can't carry on */
1707       }
1708     if (rc == OK) break;               /* Found a name */
1709     }
1710   }      /* Loop for bydns/byaddr scanning */
1711
1712 /* If we have failed to find a name, return FAIL and log when required.
1713 NB host_lookup_msg must be in permanent store.  */
1714
1715 if (!sender_host_name)
1716   {
1717   if (host_checking || !f.log_testing_mode)
1718     log_write(L_host_lookup_failed, LOG_MAIN, "no host name found for IP "
1719       "address %s", sender_host_address);
1720   host_lookup_msg = US" (failed to find host name from IP address)";
1721   host_lookup_failed = TRUE;
1722   return FAIL;
1723   }
1724
1725 HDEBUG(D_host_lookup)
1726   {
1727   uschar **aliases = sender_host_aliases;
1728   debug_printf("IP address lookup yielded \"%s\"\n", sender_host_name);
1729   while (*aliases) debug_printf("  alias \"%s\"\n", *aliases++);
1730   }
1731
1732 /* We need to verify that a forward lookup on the name we found does indeed
1733 correspond to the address. This is for security: in principle a malefactor who
1734 happened to own a reverse zone could set it to point to any names at all.
1735
1736 This code was present in versions of Exim before 3.20. At that point I took it
1737 out because I thought that gethostbyaddr() did the check anyway. It turns out
1738 that this isn't always the case, so it's coming back in at 4.01. This version
1739 is actually better, because it also checks aliases.
1740
1741 The code was made more robust at release 4.21. Prior to that, it accepted all
1742 the names if any of them had the correct IP address. Now the code checks all
1743 the names, and accepts only those that have the correct IP address. */
1744
1745 save_hostname = sender_host_name;   /* Save for error messages */
1746 aliases = sender_host_aliases;
1747 for (uschar * hname = sender_host_name; hname; hname = *aliases++)
1748   {
1749   int rc;
1750   BOOL ok = FALSE;
1751   host_item h = { .next = NULL, .name = hname, .mx = MX_NONE, .address = NULL };
1752   dnssec_domains d =
1753     { .request = sender_host_dnssec ? US"*" : NULL, .require = NULL };
1754
1755   if (  (rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A | HOST_FIND_BY_AAAA,
1756           NULL, NULL, NULL, &d, NULL, NULL)) == HOST_FOUND
1757      || rc == HOST_FOUND_LOCAL
1758      )
1759     {
1760     HDEBUG(D_host_lookup) debug_printf("checking addresses for %s\n", hname);
1761
1762     /* If the forward lookup was not secure we cancel the is-secure variable */
1763
1764     DEBUG(D_dns) debug_printf("Forward DNS security status: %s\n",
1765           h.dnssec == DS_YES ? "DNSSEC verified (AD)" : "unverified");
1766     if (h.dnssec != DS_YES) sender_host_dnssec = FALSE;
1767
1768     for (host_item * hh = &h; hh; hh = hh->next)
1769       if (host_is_in_net(hh->address, sender_host_address, 0))
1770         {
1771         HDEBUG(D_host_lookup) debug_printf("  %s OK\n", hh->address);
1772         ok = TRUE;
1773         break;
1774         }
1775       else
1776         HDEBUG(D_host_lookup) debug_printf("  %s\n", hh->address);
1777
1778     if (!ok) HDEBUG(D_host_lookup)
1779       debug_printf("no IP address for %s matched %s\n", hname,
1780         sender_host_address);
1781     }
1782   else if (rc == HOST_FIND_AGAIN)
1783     {
1784     HDEBUG(D_host_lookup) debug_printf("temporary error for host name lookup\n");
1785     host_lookup_deferred = TRUE;
1786     sender_host_name = NULL;
1787     return DEFER;
1788     }
1789   else
1790     HDEBUG(D_host_lookup) debug_printf("no IP addresses found for %s\n", hname);
1791
1792   /* If this name is no good, and it's the sender name, set it null pro tem;
1793   if it's an alias, just remove it from the list. */
1794
1795   if (!ok)
1796     {
1797     if (hname == sender_host_name) sender_host_name = NULL; else
1798       {
1799       uschar **a;                              /* Don't amalgamate - some */
1800       a = --aliases;                           /* compilers grumble */
1801       while (*a != NULL) { *a = a[1]; a++; }
1802       }
1803     }
1804   }
1805
1806 /* If sender_host_name == NULL, it means we didn't like the name. Replace
1807 it with the first alias, if there is one. */
1808
1809 if (sender_host_name == NULL && *sender_host_aliases != NULL)
1810   sender_host_name = *sender_host_aliases++;
1811
1812 /* If we now have a main name, all is well. */
1813
1814 if (sender_host_name != NULL) return OK;
1815
1816 /* We have failed to find an address that matches. */
1817
1818 HDEBUG(D_host_lookup)
1819   debug_printf("%s does not match any IP address for %s\n",
1820     sender_host_address, save_hostname);
1821
1822 /* This message must be in permanent store */
1823
1824 old_pool = store_pool;
1825 store_pool = POOL_PERM;
1826 host_lookup_msg = string_sprintf(" (%s does not match any IP address for %s)",
1827   sender_host_address, save_hostname);
1828 store_pool = old_pool;
1829 host_lookup_failed = TRUE;
1830 return FAIL;
1831 }
1832
1833
1834
1835
1836 /*************************************************
1837 *    Find IP address(es) for host by name        *
1838 *************************************************/
1839
1840 /* The input is a host_item structure with the name filled in and the address
1841 field set to NULL. We use gethostbyname() or getipnodebyname() or
1842 gethostbyname2(), as appropriate. Of course, these functions may use the DNS,
1843 but they do not do MX processing. It appears, however, that in some systems the
1844 current setting of resolver options is used when one of these functions calls
1845 the resolver. For this reason, we call dns_init() at the start, with arguments
1846 influenced by bits in "flags", just as we do for host_find_bydns().
1847
1848 The second argument provides a host list (usually an IP list) of hosts to
1849 ignore. This makes it possible to ignore IPv6 link-local addresses or loopback
1850 addresses in unreasonable places.
1851
1852 The lookup may result in a change of name. For compatibility with the dns
1853 lookup, return this via fully_qualified_name as well as updating the host item.
1854 The lookup may also yield more than one IP address, in which case chain on
1855 subsequent host_item structures.
1856
1857 Arguments:
1858   host                   a host item with the name and MX filled in;
1859                            the address is to be filled in;
1860                            multiple IP addresses cause other host items to be
1861                              chained on.
1862   ignore_target_hosts    a list of hosts to ignore
1863   flags                  HOST_FIND_QUALIFY_SINGLE   ) passed to
1864                          HOST_FIND_SEARCH_PARENTS   )   dns_init()
1865   fully_qualified_name   if not NULL, set to point to host name for
1866                          compatibility with host_find_bydns
1867   local_host_check       TRUE if a check for the local host is wanted
1868
1869 Returns:                 HOST_FIND_FAILED  Failed to find the host or domain
1870                          HOST_FIND_AGAIN   Try again later
1871                          HOST_FOUND        Host found - data filled in
1872                          HOST_FOUND_LOCAL  Host found and is the local host
1873 */
1874
1875 int
1876 host_find_byname(host_item *host, const uschar *ignore_target_hosts, int flags,
1877   const uschar **fully_qualified_name, BOOL local_host_check)
1878 {
1879 int yield, times;
1880 host_item *last = NULL;
1881 BOOL temp_error = FALSE;
1882 int af;
1883
1884 #ifndef DISABLE_TLS
1885 /* Copy the host name at this point to the value which is used for
1886 TLS certificate name checking, before anything modifies it.  */
1887
1888 host->certname = host->name;
1889 #endif
1890
1891 /* Make sure DNS options are set as required. This appears to be necessary in
1892 some circumstances when the get..byname() function actually calls the DNS. */
1893
1894 dns_init((flags & HOST_FIND_QUALIFY_SINGLE) != 0,
1895          (flags & HOST_FIND_SEARCH_PARENTS) != 0,
1896          FALSE);                /* Cannot retrieve dnssec status so do not request */
1897
1898 /* In an IPv6 world, unless IPv6 has been disabled, we need to scan for both
1899 kinds of address, so go round the loop twice. Note that we have ensured that
1900 AF_INET6 is defined even in an IPv4 world, which makes for slightly tidier
1901 code. However, if dns_ipv4_lookup matches the domain, we also just do IPv4
1902 lookups here (except when testing standalone). */
1903
1904 #if HAVE_IPV6
1905   #ifdef STAND_ALONE
1906   if (disable_ipv6)
1907   #else
1908   if (  disable_ipv6
1909      ||    dns_ipv4_lookup
1910         && match_isinlist(host->name, CUSS &dns_ipv4_lookup, 0,
1911             &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) == OK)
1912   #endif
1913
1914     { af = AF_INET; times = 1; }
1915   else
1916     { af = AF_INET6; times = 2; }
1917
1918 /* No IPv6 support */
1919
1920 #else   /* HAVE_IPV6 */
1921   af = AF_INET; times = 1;
1922 #endif  /* HAVE_IPV6 */
1923
1924 /* Initialize the flag that gets set for DNS syntax check errors, so that the
1925 interface to this function can be similar to host_find_bydns. */
1926
1927 f.host_find_failed_syntax = FALSE;
1928
1929 /* Loop to look up both kinds of address in an IPv6 world */
1930
1931 for (int i = 1; i <= times;
1932      #if HAVE_IPV6
1933        af = AF_INET,     /* If 2 passes, IPv4 on the second */
1934      #endif
1935      i++)
1936   {
1937   BOOL ipv4_addr;
1938   int error_num = 0;
1939   struct hostent *hostdata;
1940   unsigned long time_msec = 0;  /* compiler quietening */
1941
1942   #ifdef STAND_ALONE
1943   printf("Looking up: %s\n", host->name);
1944   #endif
1945
1946   if (slow_lookup_log) time_msec = get_time_in_ms();
1947
1948   #if HAVE_IPV6
1949   if (f.running_in_test_harness)
1950     hostdata = host_fake_gethostbyname(host->name, af, &error_num);
1951   else
1952     {
1953     #if HAVE_GETIPNODEBYNAME
1954     hostdata = getipnodebyname(CS host->name, af, 0, &error_num);
1955     #else
1956     hostdata = gethostbyname2(CS host->name, af);
1957     error_num = h_errno;
1958     #endif
1959     }
1960
1961   #else    /* not HAVE_IPV6 */
1962   if (f.running_in_test_harness)
1963     hostdata = host_fake_gethostbyname(host->name, af, &error_num);
1964   else
1965     {
1966     hostdata = gethostbyname(CS host->name);
1967     error_num = h_errno;
1968     }
1969   #endif   /* HAVE_IPV6 */
1970
1971   if (   slow_lookup_log
1972       && (time_msec = get_time_in_ms() - time_msec) > slow_lookup_log)
1973     log_long_lookup(US"gethostbyname", host->name, time_msec);
1974
1975   if (!hostdata)
1976     {
1977     uschar * error;
1978     switch (error_num)
1979       {
1980       case HOST_NOT_FOUND: error = US"HOST_NOT_FOUND";  break;
1981       case TRY_AGAIN:      error = US"TRY_AGAIN";   temp_error = TRUE; break;
1982       case NO_RECOVERY:    error = US"NO_RECOVERY"; temp_error = TRUE; break;
1983       case NO_DATA:        error = US"NO_DATA";         break;
1984     #if NO_DATA != NO_ADDRESS
1985       case NO_ADDRESS:     error = US"NO_ADDRESS";      break;
1986     #endif
1987       default: error = US"?"; break;
1988       }
1989
1990     DEBUG(D_host_lookup) debug_printf("%s(af=%s) returned %d (%s)\n",
1991       f.running_in_test_harness ? "host_fake_gethostbyname" :
1992 #if HAVE_IPV6
1993 # if HAVE_GETIPNODEBYNAME
1994         "getipnodebyname",
1995 # else
1996         "gethostbyname2",
1997 # endif
1998 #else
1999         "gethostbyname",
2000 #endif
2001       af == AF_INET ? "inet" : "inet6", error_num, error);
2002
2003     continue;
2004     }
2005   if (!(hostdata->h_addr_list)[0]) continue;
2006
2007   /* Replace the name with the fully qualified one if necessary, and fill in
2008   the fully_qualified_name pointer. */
2009
2010   if (hostdata->h_name[0] && Ustrcmp(host->name, hostdata->h_name) != 0)
2011     host->name = string_copy_dnsdomain(US hostdata->h_name);
2012   if (fully_qualified_name) *fully_qualified_name = host->name;
2013
2014   /* Get the list of addresses. IPv4 and IPv6 addresses can be distinguished
2015   by their different lengths. Scan the list, ignoring any that are to be
2016   ignored, and build a chain from the rest. */
2017
2018   ipv4_addr = hostdata->h_length == sizeof(struct in_addr);
2019
2020   for (uschar ** addrlist = USS hostdata->h_addr_list; *addrlist; addrlist++)
2021     {
2022     uschar *text_address =
2023       host_ntoa(ipv4_addr? AF_INET:AF_INET6, *addrlist, NULL, NULL);
2024
2025     #ifndef STAND_ALONE
2026     if (  ignore_target_hosts
2027        && verify_check_this_host(&ignore_target_hosts, NULL, host->name,
2028             text_address, NULL) == OK)
2029       {
2030       DEBUG(D_host_lookup)
2031         debug_printf("ignored host %s [%s]\n", host->name, text_address);
2032       continue;
2033       }
2034     #endif
2035
2036     /* If this is the first address, last is NULL and we put the data in the
2037     original block. */
2038
2039     if (!last)
2040       {
2041       host->address = text_address;
2042       host->port = PORT_NONE;
2043       host->status = hstatus_unknown;
2044       host->why = hwhy_unknown;
2045       host->dnssec = DS_UNK;
2046       last = host;
2047       }
2048
2049     /* Else add further host item blocks for any other addresses, keeping
2050     the order. */
2051
2052     else
2053       {
2054       host_item *next = store_get(sizeof(host_item), GET_UNTAINTED);
2055       next->name = host->name;
2056 #ifndef DISABLE_TLS
2057       next->certname = host->certname;
2058 #endif
2059       next->mx = host->mx;
2060       next->address = text_address;
2061       next->port = PORT_NONE;
2062       next->status = hstatus_unknown;
2063       next->why = hwhy_unknown;
2064       next->dnssec = DS_UNK;
2065       next->last_try = 0;
2066       next->next = last->next;
2067       last->next = next;
2068       last = next;
2069       }
2070     }
2071   }
2072
2073 /* If no hosts were found, the address field in the original host block will be
2074 NULL. If temp_error is set, at least one of the lookups gave a temporary error,
2075 so we pass that back. */
2076
2077 if (!host->address)
2078   {
2079   uschar *msg =
2080 #ifndef STAND_ALONE
2081     !message_id[0] && smtp_in
2082       ? string_sprintf("no IP address found for host %s (during %s)", host->name,
2083           smtp_get_connection_info()) :
2084 #endif
2085     string_sprintf("no IP address found for host %s", host->name);
2086
2087   HDEBUG(D_host_lookup) debug_printf("%s\n", msg);
2088   if (temp_error) goto RETURN_AGAIN;
2089   if (host_checking || !f.log_testing_mode)
2090     log_write(L_host_lookup_failed, LOG_MAIN, "%s", msg);
2091   return HOST_FIND_FAILED;
2092   }
2093
2094 /* Remove any duplicate IP addresses, then check to see if this is the local
2095 host if required. */
2096
2097 host_remove_duplicates(host, &last);
2098 yield = local_host_check?
2099   host_scan_for_local_hosts(host, &last, NULL) : HOST_FOUND;
2100
2101 HDEBUG(D_host_lookup)
2102   {
2103   if (fully_qualified_name)
2104     debug_printf("fully qualified name = %s\n", *fully_qualified_name);
2105   debug_printf("%s looked up these IP addresses:\n",
2106     #if HAVE_IPV6
2107       #if HAVE_GETIPNODEBYNAME
2108       "getipnodebyname"
2109       #else
2110       "gethostbyname2"
2111       #endif
2112     #else
2113     "gethostbyname"
2114     #endif
2115     );
2116   for (const host_item * h = host; h != last->next; h = h->next)
2117     debug_printf("  name=%s address=%s\n", h->name,
2118       h->address ? h->address : US"<null>");
2119   }
2120
2121 /* Return the found status. */
2122
2123 return yield;
2124
2125 /* Handle the case when there is a temporary error. If the name matches
2126 dns_again_means_nonexist, return permanent rather than temporary failure. */
2127
2128 RETURN_AGAIN:
2129   {
2130 #ifndef STAND_ALONE
2131   int rc;
2132   const uschar *save = deliver_domain;
2133   deliver_domain = host->name;  /* set $domain */
2134   rc = match_isinlist(host->name, CUSS &dns_again_means_nonexist, 0,
2135     &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL);
2136   deliver_domain = save;
2137   if (rc == OK)
2138     {
2139     DEBUG(D_host_lookup) debug_printf("%s is in dns_again_means_nonexist: "
2140       "returning HOST_FIND_FAILED\n", host->name);
2141     return HOST_FIND_FAILED;
2142     }
2143 #endif
2144   return HOST_FIND_AGAIN;
2145   }
2146 }
2147
2148
2149
2150 /*************************************************
2151 *        Fill in a host address from the DNS     *
2152 *************************************************/
2153
2154 /* Given a host item, with its name, port and mx fields set, and its address
2155 field set to NULL, fill in its IP address from the DNS. If it is multi-homed,
2156 create additional host items for the additional addresses, copying all the
2157 other fields, and randomizing the order.
2158
2159 On IPv6 systems, AAAA records are sought first, then A records.
2160
2161 The host name may be changed if the DNS returns a different name - e.g. fully
2162 qualified or changed via CNAME. If fully_qualified_name is not NULL, dns_lookup
2163 ensures that it points to the fully qualified name. However, this is the fully
2164 qualified version of the original name; if a CNAME is involved, the actual
2165 canonical host name may be different again, and so we get it directly from the
2166 relevant RR. Note that we do NOT change the mx field of the host item in this
2167 function as it may be called to set the addresses of hosts taken from MX
2168 records.
2169
2170 Arguments:
2171   host                  points to the host item we're filling in
2172   lastptr               points to pointer to last host item in a chain of
2173                           host items (may be updated if host is last and gets
2174                           extended because multihomed)
2175   ignore_target_hosts   list of hosts to ignore
2176   allow_ip              if TRUE, recognize an IP address and return it
2177   fully_qualified_name  if not NULL, return fully qualified name here if
2178                           the contents are different (i.e. it must be preset
2179                           to something)
2180   dnssec_request        if TRUE request the AD bit
2181   dnssec_require        if TRUE require the AD bit
2182   whichrrs              select ipv4, ipv6 results
2183
2184 Returns:       HOST_FIND_FAILED     couldn't find A record
2185                HOST_FIND_AGAIN      try again later
2186                HOST_FIND_SECURITY   dnssec required but not acheived
2187                HOST_FOUND           found AAAA and/or A record(s)
2188                HOST_IGNORED         found, but all IPs ignored
2189 */
2190
2191 static int
2192 set_address_from_dns(host_item *host, host_item **lastptr,
2193   const uschar *ignore_target_hosts, BOOL allow_ip,
2194   const uschar **fully_qualified_name,
2195   BOOL dnssec_request, BOOL dnssec_require, int whichrrs)
2196 {
2197 host_item *thishostlast = NULL;    /* Indicates not yet filled in anything */
2198 BOOL v6_find_again = FALSE;
2199 BOOL dnssec_fail = FALSE;
2200 int i;
2201 dns_answer * dnsa;
2202
2203 #ifndef DISABLE_TLS
2204 /* Copy the host name at this point to the value which is used for
2205 TLS certificate name checking, before any CNAME-following modifies it.  */
2206
2207 host->certname = host->name;
2208 #endif
2209
2210 /* If allow_ip is set, a name which is an IP address returns that value
2211 as its address. This is used for MX records when allow_mx_to_ip is set, for
2212 those sites that feel they have to flaunt the RFC rules. */
2213
2214 if (allow_ip && string_is_ip_address(host->name, NULL) != 0)
2215   {
2216   #ifndef STAND_ALONE
2217   if (  ignore_target_hosts
2218      && verify_check_this_host(&ignore_target_hosts, NULL, host->name,
2219         host->name, NULL) == OK)
2220     return HOST_IGNORED;
2221   #endif
2222
2223   host->address = host->name;
2224   return HOST_FOUND;
2225   }
2226
2227 dnsa = store_get_dns_answer();
2228
2229 /* On an IPv6 system, unless IPv6 is disabled, go round the loop up to twice,
2230 looking for AAAA records the first time. However, unless doing standalone
2231 testing, we force an IPv4 lookup if the domain matches dns_ipv4_lookup global.
2232 On an IPv4 system, go round the loop once only, looking only for A records. */
2233
2234 #if HAVE_IPV6
2235   #ifndef STAND_ALONE
2236     if (  disable_ipv6
2237        || !(whichrrs & HOST_FIND_BY_AAAA)
2238        ||    dns_ipv4_lookup
2239           && match_isinlist(host->name, CUSS &dns_ipv4_lookup, 0,
2240               &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) == OK
2241        )
2242       i = 0;    /* look up A records only */
2243     else
2244   #endif        /* STAND_ALONE */
2245
2246   i = 1;        /* look up AAAA and A records */
2247
2248 /* The IPv4 world */
2249
2250 #else           /* HAVE_IPV6 */
2251   i = 0;        /* look up A records only */
2252 #endif          /* HAVE_IPV6 */
2253
2254 for (; i >= 0; i--)
2255   {
2256   static int types[] = { T_A, T_AAAA };
2257   int type = types[i];
2258   int randoffset = i == (whichrrs & HOST_FIND_IPV4_FIRST ? 1 : 0)
2259     ? 500 : 0;  /* Ensures v6/4 sort order */
2260   dns_scan dnss;
2261
2262   int rc = dns_lookup_timerwrap(dnsa, host->name, type, fully_qualified_name);
2263   lookup_dnssec_authenticated = !dnssec_request ? NULL
2264     : dns_is_secure(dnsa) ? US"yes" : US"no";
2265
2266   DEBUG(D_dns)
2267     if (  (dnssec_request || dnssec_require)
2268        && !dns_is_secure(dnsa)
2269        && dns_is_aa(dnsa)
2270        )
2271       debug_printf("DNS lookup of %.256s (A/AAAA) requested AD, but got AA\n", host->name);
2272
2273   /* We want to return HOST_FIND_AGAIN if one of the A or AAAA lookups
2274   fails or times out, but not if another one succeeds. (In the early
2275   IPv6 days there are name servers that always fail on AAAA, but are happy
2276   to give out an A record. We want to proceed with that A record.) */
2277
2278   if (rc != DNS_SUCCEED)
2279     {
2280     if (i == 0)  /* Just tried for an A record, i.e. end of loop */
2281       {
2282       if (host->address != NULL)
2283         i = HOST_FOUND;  /* AAAA was found */
2284       else if (rc == DNS_AGAIN || rc == DNS_FAIL || v6_find_again)
2285         i = HOST_FIND_AGAIN;
2286       else
2287         i = HOST_FIND_FAILED;    /* DNS_NOMATCH or DNS_NODATA */
2288       goto out;
2289       }
2290
2291     /* Tried for an AAAA record: remember if this was a temporary
2292     error, and look for the next record type. */
2293
2294     if (rc != DNS_NOMATCH && rc != DNS_NODATA) v6_find_again = TRUE;
2295     continue;
2296     }
2297
2298   if (dnssec_request)
2299     {
2300     if (dns_is_secure(dnsa))
2301       {
2302       DEBUG(D_host_lookup) debug_printf("%s A DNSSEC\n", host->name);
2303       if (host->dnssec == DS_UNK) /* set in host_find_bydns() */
2304         host->dnssec = DS_YES;
2305       }
2306     else
2307       {
2308       if (dnssec_require)
2309         {
2310         dnssec_fail = TRUE;
2311         DEBUG(D_host_lookup) debug_printf("dnssec fail on %s for %.256s",
2312                 i>0 ? "AAAA" : "A", host->name);
2313         continue;
2314         }
2315       if (host->dnssec == DS_YES) /* set in host_find_bydns() */
2316         {
2317         DEBUG(D_host_lookup) debug_printf("%s A cancel DNSSEC\n", host->name);
2318         host->dnssec = DS_NO;
2319         lookup_dnssec_authenticated = US"no";
2320         }
2321       }
2322     }
2323
2324   /* Lookup succeeded: fill in the given host item with the first non-ignored
2325   address found; create additional items for any others. A single A6 record
2326   may generate more than one address.  The lookup had a chance to update the
2327   fqdn; we do not want any later times round the loop to do so. */
2328
2329   fully_qualified_name = NULL;
2330
2331   for (dns_record * rr = dns_next_rr(dnsa, &dnss, RESET_ANSWERS);
2332        rr;
2333        rr = dns_next_rr(dnsa, &dnss, RESET_NEXT)) if (rr->type == type)
2334     {
2335     dns_address * da = dns_address_from_rr(dnsa, rr);
2336
2337     DEBUG(D_host_lookup)
2338       if (!da) debug_printf("no addresses extracted from A6 RR for %s\n",
2339           host->name);
2340
2341     /* This loop runs only once for A and AAAA records, but may run
2342     several times for an A6 record that generated multiple addresses. */
2343
2344     for (; da; da = da->next)
2345       {
2346       #ifndef STAND_ALONE
2347       if (ignore_target_hosts != NULL &&
2348             verify_check_this_host(&ignore_target_hosts, NULL,
2349               host->name, da->address, NULL) == OK)
2350         {
2351         DEBUG(D_host_lookup)
2352           debug_printf("ignored host %s [%s]\n", host->name, da->address);
2353         continue;
2354         }
2355       #endif
2356
2357       /* If this is the first address, stick it in the given host block,
2358       and change the name if the returned RR has a different name. */
2359
2360       if (thishostlast == NULL)
2361         {
2362         if (strcmpic(host->name, rr->name) != 0)
2363           host->name = string_copy_dnsdomain(rr->name);
2364         host->address = da->address;
2365         host->sort_key = host->mx * 1000 + random_number(500) + randoffset;
2366         host->status = hstatus_unknown;
2367         host->why = hwhy_unknown;
2368         thishostlast = host;
2369         }
2370
2371       /* Not the first address. Check for, and ignore, duplicates. Then
2372       insert in the chain at a random point. */
2373
2374       else
2375         {
2376         int new_sort_key;
2377         host_item *next;
2378
2379         /* End of our local chain is specified by "thishostlast". */
2380
2381         for (next = host;; next = next->next)
2382           {
2383           if (Ustrcmp(CS da->address, next->address) == 0) break;
2384           if (next == thishostlast) { next = NULL; break; }
2385           }
2386         if (next != NULL) continue;  /* With loop for next address */
2387
2388         /* Not a duplicate */
2389
2390         new_sort_key = host->mx * 1000 + random_number(500) + randoffset;
2391         next = store_get(sizeof(host_item), GET_UNTAINTED);
2392
2393         /* New address goes first: insert the new block after the first one
2394         (so as not to disturb the original pointer) but put the new address
2395         in the original block. */
2396
2397         if (new_sort_key < host->sort_key)
2398           {
2399           *next = *host;                                  /* Copies port */
2400           host->next = next;
2401           host->address = da->address;
2402           host->sort_key = new_sort_key;
2403           if (thishostlast == host) thishostlast = next;  /* Local last */
2404           if (*lastptr == host) *lastptr = next;          /* Global last */
2405           }
2406
2407         /* Otherwise scan down the addresses for this host to find the
2408         one to insert after. */
2409
2410         else
2411           {
2412           host_item *h = host;
2413           while (h != thishostlast)
2414             {
2415             if (new_sort_key < h->next->sort_key) break;
2416             h = h->next;
2417             }
2418           *next = *h;                                 /* Copies port */
2419           h->next = next;
2420           next->address = da->address;
2421           next->sort_key = new_sort_key;
2422           if (h == thishostlast) thishostlast = next; /* Local last */
2423           if (h == *lastptr) *lastptr = next;         /* Global last */
2424           }
2425         }
2426       }
2427     }
2428   }
2429
2430 /* Control gets here only if the second lookup (the A record) succeeded.
2431 However, the address may not be filled in if it was ignored. */
2432
2433 i = host->address
2434   ? HOST_FOUND
2435   : dnssec_fail
2436   ? HOST_FIND_SECURITY
2437   : HOST_IGNORED;
2438
2439 out:
2440   store_free_dns_answer(dnsa);
2441   return i;
2442 }
2443
2444
2445
2446
2447 /*************************************************
2448 *    Find IP addresses and host names via DNS    *
2449 *************************************************/
2450
2451 /* The input is a host_item structure with the name field filled in and the
2452 address field set to NULL. This may be in a chain of other host items. The
2453 lookup may result in more than one IP address, in which case we must created
2454 new host blocks for the additional addresses, and insert them into the chain.
2455 The original name may not be fully qualified. Use the fully_qualified_name
2456 argument to return the official name, as returned by the resolver.
2457
2458 Arguments:
2459   host                  point to initial host item
2460   ignore_target_hosts   a list of hosts to ignore
2461   whichrrs              flags indicating which RRs to look for:
2462                           HOST_FIND_BY_SRV  => look for SRV
2463                           HOST_FIND_BY_MX   => look for MX
2464                           HOST_FIND_BY_A    => look for A
2465                           HOST_FIND_BY_AAAA => look for AAAA
2466                         also flags indicating how the lookup is done
2467                           HOST_FIND_QUALIFY_SINGLE   ) passed to the
2468                           HOST_FIND_SEARCH_PARENTS   )   resolver
2469                           HOST_FIND_IPV4_FIRST => reverse usual result ordering
2470                           HOST_FIND_IPV4_ONLY  => MX results elide ipv6
2471   srv_service           when SRV used, the service name
2472   srv_fail_domains      DNS errors for these domains => assume nonexist
2473   mx_fail_domains       DNS errors for these domains => assume nonexist
2474   dnssec_d.request =>   make dnssec request: domainlist
2475   dnssec_d.require =>   ditto and nonexist failures
2476   fully_qualified_name  if not NULL, return fully-qualified name
2477   removed               set TRUE if local host was removed from the list
2478
2479 Returns:                HOST_FIND_FAILED  Failed to find the host or domain;
2480                                           if there was a syntax error,
2481                                           host_find_failed_syntax is set.
2482                         HOST_FIND_AGAIN   Could not resolve at this time
2483                         HOST_FIND_SECURITY dnsssec required but not acheived
2484                         HOST_FOUND        Host found
2485                         HOST_FOUND_LOCAL  The lowest MX record points to this
2486                                           machine, if MX records were found, or
2487                                           an A record that was found contains
2488                                           an address of the local host
2489 */
2490
2491 int
2492 host_find_bydns(host_item *host, const uschar *ignore_target_hosts, int whichrrs,
2493   uschar *srv_service, uschar *srv_fail_domains, uschar *mx_fail_domains,
2494   const dnssec_domains *dnssec_d,
2495   const uschar **fully_qualified_name, BOOL *removed)
2496 {
2497 host_item *h, *last;
2498 int rc = DNS_FAIL;
2499 int ind_type = 0;
2500 int yield;
2501 dns_answer * dnsa = store_get_dns_answer();
2502 dns_scan dnss;
2503 BOOL dnssec_require = dnssec_d
2504   && match_isinlist(host->name, CUSS &dnssec_d->require,
2505                   0, &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) == OK;
2506 BOOL dnssec_request = dnssec_require
2507     || (  dnssec_d
2508        && match_isinlist(host->name, CUSS &dnssec_d->request,
2509                     0, &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) == OK);
2510 dnssec_status_t dnssec;
2511
2512 /* Set the default fully qualified name to the incoming name, initialize the
2513 resolver if necessary, set up the relevant options, and initialize the flag
2514 that gets set for DNS syntax check errors. */
2515
2516 if (fully_qualified_name != NULL) *fully_qualified_name = host->name;
2517 dns_init((whichrrs & HOST_FIND_QUALIFY_SINGLE) != 0,
2518          (whichrrs & HOST_FIND_SEARCH_PARENTS) != 0,
2519          dnssec_request);
2520 f.host_find_failed_syntax = FALSE;
2521
2522 /* First, if requested, look for SRV records. The service name is given; we
2523 assume TCP protocol. DNS domain names are constrained to a maximum of 256
2524 characters, so the code below should be safe. */
2525
2526 if (whichrrs & HOST_FIND_BY_SRV)
2527   {
2528   gstring * g;
2529   uschar * temp_fully_qualified_name;
2530   int prefix_length;
2531
2532   g = string_fmt_append(NULL, "_%s._tcp.%n%.256s",
2533         srv_service, &prefix_length, host->name);
2534   temp_fully_qualified_name = string_from_gstring(g);
2535   ind_type = T_SRV;
2536
2537   /* Search for SRV records. If the fully qualified name is different to
2538   the input name, pass back the new original domain, without the prepended
2539   magic. */
2540
2541   dnssec = DS_UNK;
2542   lookup_dnssec_authenticated = NULL;
2543   rc = dns_lookup_timerwrap(dnsa, temp_fully_qualified_name, ind_type,
2544         CUSS &temp_fully_qualified_name);
2545
2546   DEBUG(D_dns)
2547     if ((dnssec_request || dnssec_require)
2548         && !dns_is_secure(dnsa)
2549         && dns_is_aa(dnsa))
2550       debug_printf("DNS lookup of %.256s (SRV) requested AD, but got AA\n", host->name);
2551
2552   if (dnssec_request)
2553     {
2554     if (dns_is_secure(dnsa))
2555       { dnssec = DS_YES; lookup_dnssec_authenticated = US"yes"; }
2556     else
2557       { dnssec = DS_NO; lookup_dnssec_authenticated = US"no"; }
2558     }
2559
2560   if (temp_fully_qualified_name != g->s && fully_qualified_name != NULL)
2561     *fully_qualified_name = temp_fully_qualified_name + prefix_length;
2562
2563   /* On DNS failures, we give the "try again" error unless the domain is
2564   listed as one for which we continue. */
2565
2566   if (rc == DNS_SUCCEED && dnssec_require && !dns_is_secure(dnsa))
2567     {
2568     log_write(L_host_lookup_failed, LOG_MAIN,
2569                 "dnssec fail on SRV for %.256s", host->name);
2570     rc = DNS_FAIL;
2571     }
2572   if (rc == DNS_FAIL || rc == DNS_AGAIN)
2573     {
2574 #ifndef STAND_ALONE
2575     if (match_isinlist(host->name, CUSS &srv_fail_domains, 0,
2576         &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) != OK)
2577 #endif
2578       { yield = HOST_FIND_AGAIN; goto out; }
2579     DEBUG(D_host_lookup) debug_printf("DNS_%s treated as DNS_NODATA "
2580       "(domain in srv_fail_domains)\n", rc == DNS_FAIL ? "FAIL":"AGAIN");
2581     }
2582   }
2583
2584 /* If we did not find any SRV records, search the DNS for MX records, if
2585 requested to do so. If the result is DNS_NOMATCH, it means there is no such
2586 domain, and there's no point in going on to look for address records with the
2587 same domain. The result will be DNS_NODATA if the domain exists but has no MX
2588 records. On DNS failures, we give the "try again" error unless the domain is
2589 listed as one for which we continue. */
2590
2591 if (rc != DNS_SUCCEED  &&  whichrrs & HOST_FIND_BY_MX)
2592   {
2593   ind_type = T_MX;
2594   dnssec = DS_UNK;
2595   lookup_dnssec_authenticated = NULL;
2596   rc = dns_lookup_timerwrap(dnsa, host->name, ind_type, fully_qualified_name);
2597
2598   DEBUG(D_dns)
2599     if (  (dnssec_request || dnssec_require)
2600        && !dns_is_secure(dnsa)
2601        && dns_is_aa(dnsa))
2602       debug_printf("DNS lookup of %.256s (MX) requested AD, but got AA\n", host->name);
2603
2604   if (dnssec_request)
2605     if (dns_is_secure(dnsa))
2606       {
2607       DEBUG(D_host_lookup) debug_printf("%s (MX resp) DNSSEC\n", host->name);
2608       dnssec = DS_YES; lookup_dnssec_authenticated = US"yes";
2609       }
2610     else
2611       {
2612       dnssec = DS_NO; lookup_dnssec_authenticated = US"no";
2613       }
2614
2615   switch (rc)
2616     {
2617     case DNS_NOMATCH:
2618       yield = HOST_FIND_FAILED; goto out;
2619
2620     case DNS_SUCCEED:
2621       if (!dnssec_require || dns_is_secure(dnsa))
2622         break;
2623       DEBUG(D_host_lookup)
2624         debug_printf("dnssec fail on MX for %.256s", host->name);
2625 #ifndef STAND_ALONE
2626       if (match_isinlist(host->name, CUSS &mx_fail_domains, 0,
2627           &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) != OK)
2628         { yield = HOST_FIND_SECURITY; goto out; }
2629 #endif
2630       rc = DNS_FAIL;
2631       /*FALLTHROUGH*/
2632
2633     case DNS_FAIL:
2634     case DNS_AGAIN:
2635 #ifndef STAND_ALONE
2636       if (match_isinlist(host->name, CUSS &mx_fail_domains, 0,
2637           &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) != OK)
2638 #endif
2639         { yield = HOST_FIND_AGAIN; goto out; }
2640       DEBUG(D_host_lookup) debug_printf("DNS_%s treated as DNS_NODATA "
2641         "(domain in mx_fail_domains)\n", (rc == DNS_FAIL)? "FAIL":"AGAIN");
2642       break;
2643     }
2644   }
2645
2646 /* If we haven't found anything yet, and we are requested to do so, try for an
2647 A or AAAA record. If we find it (or them) check to see that it isn't the local
2648 host. */
2649
2650 if (rc != DNS_SUCCEED)
2651   {
2652   if (!(whichrrs & (HOST_FIND_BY_A | HOST_FIND_BY_AAAA)))
2653     {
2654     DEBUG(D_host_lookup) debug_printf("Address records are not being sought\n");
2655     yield = HOST_FIND_FAILED;
2656     goto out;
2657     }
2658
2659   last = host;        /* End of local chainlet */
2660   host->mx = MX_NONE;
2661   host->port = PORT_NONE;
2662   host->dnssec = DS_UNK;
2663   lookup_dnssec_authenticated = NULL;
2664   rc = set_address_from_dns(host, &last, ignore_target_hosts, FALSE,
2665     fully_qualified_name, dnssec_request, dnssec_require, whichrrs);
2666
2667   /* If one or more address records have been found, check that none of them
2668   are local. Since we know the host items all have their IP addresses
2669   inserted, host_scan_for_local_hosts() can only return HOST_FOUND or
2670   HOST_FOUND_LOCAL. We do not need to scan for duplicate IP addresses here,
2671   because set_address_from_dns() removes them. */
2672
2673   if (rc == HOST_FOUND)
2674     rc = host_scan_for_local_hosts(host, &last, removed);
2675   else
2676     if (rc == HOST_IGNORED) rc = HOST_FIND_FAILED;  /* No special action */
2677
2678   DEBUG(D_host_lookup)
2679     if (host->address)
2680       {
2681       if (fully_qualified_name)
2682         debug_printf("fully qualified name = %s\n", *fully_qualified_name);
2683       for (host_item * h = host; h != last->next; h = h->next)
2684         debug_printf("%s %s mx=%d sort=%d %s\n", h->name,
2685           h->address ? h->address : US"<null>", h->mx, h->sort_key,
2686           h->status >= hstatus_unusable ? US"*" : US"");
2687       }
2688
2689   yield = rc;
2690   goto out;
2691   }
2692
2693 /* We have found one or more MX or SRV records. Sort them according to
2694 precedence. Put the data for the first one into the existing host block, and
2695 insert new host_item blocks into the chain for the remainder. For equal
2696 precedences one is supposed to randomize the order. To make this happen, the
2697 sorting is actually done on the MX value * 1000 + a random number. This is put
2698 into a host field called sort_key.
2699
2700 In the case of hosts with both IPv6 and IPv4 addresses, we want to choose the
2701 IPv6 address in preference. At this stage, we don't know what kind of address
2702 the host has. We choose a random number < 500; if later we find an A record
2703 first, we add 500 to the random number. Then for any other address records, we
2704 use random numbers in the range 0-499 for AAAA records and 500-999 for A
2705 records.
2706
2707 At this point we remove any duplicates that point to the same host, retaining
2708 only the one with the lowest precedence. We cannot yet check for precedence
2709 greater than that of the local host, because that test cannot be properly done
2710 until the addresses have been found - an MX record may point to a name for this
2711 host which is not the primary hostname. */
2712
2713 last = NULL;    /* Indicates that not even the first item is filled yet */
2714
2715 for (dns_record * rr = dns_next_rr(dnsa, &dnss, RESET_ANSWERS);
2716      rr;
2717      rr = dns_next_rr(dnsa, &dnss, RESET_NEXT)) if (rr->type == ind_type)
2718   {
2719   int precedence, weight;
2720   int port = PORT_NONE;
2721   const uschar * s = rr->data;  /* MUST be unsigned for GETSHORT */
2722   uschar data[256];
2723
2724   if (rr_bad_size(rr, sizeof(uint16_t))) continue;
2725   GETSHORT(precedence, s);      /* Pointer s is advanced */
2726
2727   /* For MX records, we use a random "weight" which causes multiple records of
2728   the same precedence to sort randomly. */
2729
2730   if (ind_type == T_MX)
2731     weight = random_number(500);
2732   else
2733     {
2734     /* SRV records are specified with a port and a weight. The weight is used
2735     in a special algorithm. However, to start with, we just use it to order the
2736     records of equal priority (precedence). */
2737
2738     if (rr_bad_increment(rr, s, 2 * sizeof(uint16_t))) continue;
2739     GETSHORT(weight, s);
2740     GETSHORT(port, s);
2741     }
2742
2743   /* Get the name of the host pointed to. */
2744
2745   (void)dn_expand(dnsa->answer, dnsa->answer + dnsa->answerlen, s,
2746     (DN_EXPAND_ARG4_TYPE)data, sizeof(data));
2747
2748   /* Check that we haven't already got this host on the chain; if we have,
2749   keep only the lower precedence. This situation shouldn't occur, but you
2750   never know what junk might get into the DNS (and this case has been seen on
2751   more than one occasion). */
2752
2753   if (last)       /* This is not the first record */
2754     {
2755     host_item *prev = NULL;
2756
2757     for (h = host; h != last->next; prev = h, h = h->next)
2758       if (strcmpic(h->name, data) == 0)
2759         {
2760         DEBUG(D_host_lookup)
2761           debug_printf("discarded duplicate host %s (MX=%d)\n", data,
2762             precedence > h->mx ? precedence : h->mx);
2763         if (precedence >= h->mx) goto NEXT_MX_RR; /* Skip greater precedence */
2764         if (h == host)                            /* Override first item */
2765           {
2766           h->mx = precedence;
2767           host->sort_key = precedence * 1000 + weight;
2768           goto NEXT_MX_RR;
2769           }
2770
2771         /* Unwanted host item is not the first in the chain, so we can get
2772         get rid of it by cutting it out. */
2773
2774         prev->next = h->next;
2775         if (h == last) last = prev;
2776         break;
2777         }
2778     }
2779
2780   /* If this is the first MX or SRV record, put the data into the existing host
2781   block. Otherwise, add a new block in the correct place; if it has to be
2782   before the first block, copy the first block's data to a new second block. */
2783
2784   if (!last)
2785     {
2786     host->name = string_copy_dnsdomain(data);
2787     host->address = NULL;
2788     host->port = port;
2789     host->mx = precedence;
2790     host->sort_key = precedence * 1000 + weight;
2791     host->status = hstatus_unknown;
2792     host->why = hwhy_unknown;
2793     host->dnssec = dnssec;
2794     last = host;
2795     }
2796   else
2797
2798   /* Make a new host item and seek the correct insertion place */
2799     {
2800     int sort_key = precedence * 1000 + weight;
2801     host_item * next = store_get(sizeof(host_item), GET_UNTAINTED);
2802     next->name = string_copy_dnsdomain(data);
2803     next->address = NULL;
2804     next->port = port;
2805     next->mx = precedence;
2806     next->sort_key = sort_key;
2807     next->status = hstatus_unknown;
2808     next->why = hwhy_unknown;
2809     next->dnssec = dnssec;
2810     next->last_try = 0;
2811
2812     /* Handle the case when we have to insert before the first item. */
2813
2814     if (sort_key < host->sort_key)
2815       {
2816       host_item htemp;
2817       htemp = *host;
2818       *host = *next;
2819       *next = htemp;
2820       host->next = next;
2821       if (last == host) last = next;
2822       }
2823     else
2824
2825     /* Else scan down the items we have inserted as part of this exercise;
2826     don't go further. */
2827       {
2828       for (h = host; h != last; h = h->next)
2829         if (sort_key < h->next->sort_key)
2830           {
2831           next->next = h->next;
2832           h->next = next;
2833           break;
2834           }
2835
2836       /* Join on after the last host item that's part of this
2837       processing if we haven't stopped sooner. */
2838
2839       if (h == last)
2840         {
2841         next->next = last->next;
2842         last->next = next;
2843         last = next;
2844         }
2845       }
2846     }
2847
2848   NEXT_MX_RR: continue;
2849   }
2850
2851 if (!last)      /* No rr of correct type; give up */
2852   {
2853   yield = HOST_FIND_FAILED;
2854   goto out;
2855   }
2856
2857 /* If the list of hosts was obtained from SRV records, there are two things to
2858 do. First, if there is only one host, and it's name is ".", it means there is
2859 no SMTP service at this domain. Otherwise, we have to sort the hosts of equal
2860 priority according to their weights, using an algorithm that is defined in RFC
2861 2782. The hosts are currently sorted by priority and weight. For each priority
2862 group we have to pick off one host and put it first, and then repeat for any
2863 remaining in the same priority group. */
2864
2865 if (ind_type == T_SRV)
2866   {
2867   host_item ** pptr;
2868
2869   if (host == last && host->name[0] == 0)
2870     {
2871     DEBUG(D_host_lookup) debug_printf("the single SRV record is \".\"\n");
2872     yield = HOST_FIND_FAILED;
2873     goto out;
2874     }
2875
2876   DEBUG(D_host_lookup)
2877     {
2878     debug_printf("original ordering of hosts from SRV records:\n");
2879     for (h = host; h != last->next; h = h->next)
2880       debug_printf("  %s P=%d W=%d\n", h->name, h->mx, h->sort_key % 1000);
2881     }
2882
2883   for (pptr = &host, h = host; h != last; pptr = &h->next, h = h->next)
2884     {
2885     int sum = 0;
2886     host_item *hh;
2887
2888     /* Find the last following host that has the same precedence. At the same
2889     time, compute the sum of the weights and the running totals. These can be
2890     stored in the sort_key field. */
2891
2892     for (hh = h; hh != last; hh = hh->next)
2893       {
2894       int weight = hh->sort_key % 1000;   /* was precedence * 1000 + weight */
2895       sum += weight;
2896       hh->sort_key = sum;
2897       if (hh->mx != hh->next->mx) break;
2898       }
2899
2900     /* If there's more than one host at this precedence (priority), we need to
2901     pick one to go first. */
2902
2903     if (hh != h)
2904       {
2905       host_item *hhh;
2906       host_item **ppptr;
2907       int randomizer = random_number(sum + 1);
2908
2909       for (ppptr = pptr, hhh = h;
2910            hhh != hh;
2911            ppptr = &hhh->next, hhh = hhh->next)
2912         if (hhh->sort_key >= randomizer)
2913           break;
2914
2915       /* hhh now points to the host that should go first; ppptr points to the
2916       place that points to it. Unfortunately, if the start of the minilist is
2917       the start of the entire list, we can't just swap the items over, because
2918       we must not change the value of host, since it is passed in from outside.
2919       One day, this could perhaps be changed.
2920
2921       The special case is fudged by putting the new item *second* in the chain,
2922       and then transferring the data between the first and second items. We
2923       can't just swap the first and the chosen item, because that would mean
2924       that an item with zero weight might no longer be first. */
2925
2926       if (hhh != h)
2927         {
2928         *ppptr = hhh->next;          /* Cuts it out of the chain */
2929
2930         if (h == host)
2931           {
2932           host_item temp = *h;
2933           *h = *hhh;
2934           *hhh = temp;
2935           hhh->next = temp.next;
2936           h->next = hhh;
2937           }
2938         else
2939           {
2940           hhh->next = h;               /* The rest of the chain follows it */
2941           *pptr = hhh;                 /* It takes the place of h */
2942           h = hhh;                     /* It's now the start of this minilist */
2943           }
2944         }
2945       }
2946
2947     /* A host has been chosen to be first at this priority and h now points
2948     to this host. There may be others at the same priority, or others at a
2949     different priority. Before we leave this host, we need to put back a sort
2950     key of the traditional MX kind, in case this host is multihomed, because
2951     the sort key is used for ordering the multiple IP addresses. We do not need
2952     to ensure that these new sort keys actually reflect the order of the hosts,
2953     however. */
2954
2955     h->sort_key = h->mx * 1000 + random_number(500);
2956     }   /* Move on to the next host */
2957   }
2958
2959 /* Now we have to find IP addresses for all the hosts. We have ensured above
2960 that the names in all the host items are unique. Before release 4.61 we used to
2961 process records from the additional section in the DNS packet that returned the
2962 MX or SRV records. However, a DNS name server is free to drop any resource
2963 records from the additional section. In theory, this has always been a
2964 potential problem, but it is exacerbated by the advent of IPv6. If a host had
2965 several IPv4 addresses and some were not in the additional section, at least
2966 Exim would try the others. However, if a host had both IPv4 and IPv6 addresses
2967 and all the IPv4 (say) addresses were absent, Exim would try only for a IPv6
2968 connection, and never try an IPv4 address. When there was only IPv4
2969 connectivity, this was a disaster that did in practice occur.
2970
2971 So, from release 4.61 onwards, we always search for A and AAAA records
2972 explicitly. The names shouldn't point to CNAMES, but we use the general lookup
2973 function that handles them, just in case. If any lookup gives a soft error,
2974 change the default yield.
2975
2976 For these DNS lookups, we must disable qualify_single and search_parents;
2977 otherwise invalid host names obtained from MX or SRV records can cause trouble
2978 if they happen to match something local. */
2979
2980 yield = HOST_FIND_FAILED;    /* Default yield */
2981 dns_init(FALSE, FALSE,       /* Disable qualify_single and search_parents */
2982          dnssec_request || dnssec_require);
2983
2984 for (h = host; h != last->next; h = h->next)
2985   {
2986   if (h->address) continue;  /* Inserted by a multihomed host */
2987
2988   rc = set_address_from_dns(h, &last, ignore_target_hosts, allow_mx_to_ip,
2989     NULL, dnssec_request, dnssec_require,
2990     whichrrs & HOST_FIND_IPV4_ONLY
2991     ?  HOST_FIND_BY_A  :  HOST_FIND_BY_A | HOST_FIND_BY_AAAA);
2992   if (rc != HOST_FOUND)
2993     {
2994     h->status = hstatus_unusable;
2995     switch (rc)
2996       {
2997       case HOST_FIND_AGAIN:     yield = rc; h->why = hwhy_deferred; break;
2998       case HOST_FIND_SECURITY:  yield = rc; h->why = hwhy_insecure; break;
2999       case HOST_IGNORED:        h->why = hwhy_ignored; break;
3000       default:                  h->why = hwhy_failed; break;
3001       }
3002     }
3003   }
3004
3005 /* Scan the list for any hosts that are marked unusable because they have
3006 been explicitly ignored, and remove them from the list, as if they did not
3007 exist. If we end up with just a single, ignored host, flatten its fields as if
3008 nothing was found. */
3009
3010 if (ignore_target_hosts)
3011   {
3012   host_item *prev = NULL;
3013   for (h = host; h != last->next; h = h->next)
3014     {
3015     REDO:
3016     if (h->why != hwhy_ignored)        /* Non ignored host, just continue */
3017       prev = h;
3018     else if (prev == NULL)             /* First host is ignored */
3019       {
3020       if (h != last)                   /* First is not last */
3021         {
3022         if (h->next == last) last = h; /* Overwrite it with next */
3023         *h = *(h->next);               /* and reprocess it. */
3024         goto REDO;                     /* C should have redo, like Perl */
3025         }
3026       }
3027     else                               /* Ignored host is not first - */
3028       {                                /*   cut it out */
3029       prev->next = h->next;
3030       if (h == last) last = prev;
3031       }
3032     }
3033
3034   if (host->why == hwhy_ignored) host->address = NULL;
3035   }
3036
3037 /* There is still one complication in the case of IPv6. Although the code above
3038 arranges that IPv6 addresses take precedence over IPv4 addresses for multihomed
3039 hosts, it doesn't do this for addresses that apply to different hosts with the
3040 same MX precedence, because the sorting on MX precedence happens first. So we
3041 have to make another pass to check for this case. We ensure that, within a
3042 single MX preference value, IPv6 addresses come first. This can separate the
3043 addresses of a multihomed host, but that should not matter. */
3044
3045 #if HAVE_IPV6
3046 if (h != last && !disable_ipv6) for (h = host; h != last; h = h->next)
3047   {
3048   host_item temp;
3049   host_item *next = h->next;
3050
3051   if (  h->mx != next->mx                       /* If next is different MX */
3052      || !h->address                             /* OR this one is unset */
3053      )
3054     continue;                                   /* move on to next */
3055
3056   if (  whichrrs & HOST_FIND_IPV4_FIRST
3057      ?     !Ustrchr(h->address, ':')            /* OR this one is IPv4 */
3058         || next->address
3059            && Ustrchr(next->address, ':')       /* OR next is IPv6 */
3060
3061      :     Ustrchr(h->address, ':')             /* OR this one is IPv6 */
3062         || next->address
3063            && !Ustrchr(next->address, ':')      /* OR next is IPv4 */
3064      )
3065     continue;                                /* move on to next */
3066
3067   temp = *h;                                 /* otherwise, swap */
3068   temp.next = next->next;
3069   *h = *next;
3070   h->next = next;
3071   *next = temp;
3072   }
3073 #endif
3074
3075 /* Remove any duplicate IP addresses and then scan the list of hosts for any
3076 whose IP addresses are on the local host. If any are found, all hosts with the
3077 same or higher MX values are removed. However, if the local host has the lowest
3078 numbered MX, then HOST_FOUND_LOCAL is returned. Otherwise, if at least one host
3079 with an IP address is on the list, HOST_FOUND is returned. Otherwise,
3080 HOST_FIND_FAILED is returned, but in this case do not update the yield, as it
3081 might have been set to HOST_FIND_AGAIN just above here. If not, it will already
3082 be HOST_FIND_FAILED. */
3083
3084 host_remove_duplicates(host, &last);
3085 rc = host_scan_for_local_hosts(host, &last, removed);
3086 if (rc != HOST_FIND_FAILED) yield = rc;
3087
3088 DEBUG(D_host_lookup)
3089   {
3090   if (fully_qualified_name)
3091     debug_printf("fully qualified name = %s\n", *fully_qualified_name);
3092   debug_printf("host_find_bydns yield = %s (%d); returned hosts:\n",
3093     yield == HOST_FOUND         ? "HOST_FOUND" :
3094     yield == HOST_FOUND_LOCAL   ? "HOST_FOUND_LOCAL" :
3095     yield == HOST_FIND_SECURITY ? "HOST_FIND_SECURITY" :
3096     yield == HOST_FIND_AGAIN    ? "HOST_FIND_AGAIN" :
3097     yield == HOST_FIND_FAILED   ? "HOST_FIND_FAILED" : "?",
3098     yield);
3099   for (h = host; h != last->next; h = h->next)
3100     {
3101     debug_printf("  %s %s MX=%d %s", h->name,
3102       !h->address ? US"<null>" : h->address, h->mx,
3103       h->dnssec == DS_YES ? US"DNSSEC " : US"");
3104     if (h->port != PORT_NONE) debug_printf("port=%d ", h->port);
3105     if (h->status >= hstatus_unusable) debug_printf("*");
3106     debug_printf("\n");
3107     }
3108   }
3109
3110 out:
3111
3112 dns_init(FALSE, FALSE, FALSE);  /* clear the dnssec bit for getaddrbyname */
3113 store_free_dns_answer(dnsa);
3114 return yield;
3115 }
3116
3117
3118
3119
3120 #ifdef SUPPORT_DANE
3121 /* Lookup TLSA record for host/port.
3122 Return:  OK             success with dnssec; DANE mode
3123          DEFER          Do not use this host now, may retry later
3124          FAIL_FORCED    No TLSA record; DANE not usable
3125          FAIL           Do not use this connection
3126 */
3127
3128 int
3129 tlsa_lookup(const host_item * host, dns_answer * dnsa, BOOL dane_required)
3130 {
3131 uschar buffer[300];
3132 const uschar * fullname = buffer;
3133 int rc;
3134 BOOL sec;
3135
3136 /* TLSA lookup string */
3137 (void)sprintf(CS buffer, "_%d._tcp.%.256s", host->port, host->name);
3138
3139 rc = dns_lookup_timerwrap(dnsa, buffer, T_TLSA, &fullname);
3140 sec = dns_is_secure(dnsa);
3141 DEBUG(D_transport)
3142   debug_printf("TLSA lookup ret %s %sDNSSEC\n", dns_rc_names[rc], sec ? "" : "not ");
3143
3144 switch (rc)
3145   {
3146   case DNS_AGAIN:
3147     return DEFER; /* just defer this TLS'd conn */
3148
3149   case DNS_SUCCEED:
3150     if (sec)
3151       {
3152       DEBUG(D_transport)
3153         {
3154         dns_scan dnss;
3155         for (dns_record * rr = dns_next_rr(dnsa, &dnss, RESET_ANSWERS); rr;
3156              rr = dns_next_rr(dnsa, &dnss, RESET_NEXT))
3157           if (rr->type == T_TLSA && rr->size > 3)
3158             {
3159             uint16_t payload_length = rr->size - 3;
3160             uschar s[MAX_TLSA_EXPANDED_SIZE], * sp = s, * p = US rr->data;
3161
3162             sp += sprintf(CS sp, "%d ", *p++); /* usage */
3163             sp += sprintf(CS sp, "%d ", *p++); /* selector */
3164             sp += sprintf(CS sp, "%d ", *p++); /* matchtype */
3165             while (payload_length-- > 0 && sp-s < (MAX_TLSA_EXPANDED_SIZE - 4))
3166               sp += sprintf(CS sp, "%02x", *p++);
3167
3168             debug_printf(" %s\n", s);
3169             }
3170         }
3171       return OK;
3172       }
3173     log_write(0, LOG_MAIN,
3174       "DANE error: TLSA lookup for %s not DNSSEC", host->name);
3175     /*FALLTRHOUGH*/
3176
3177   case DNS_NODATA:      /* no TLSA RR for this lookup */
3178   case DNS_NOMATCH:     /* no records at all for this lookup */
3179     return dane_required ? FAIL : FAIL_FORCED;
3180
3181   default:
3182   case DNS_FAIL:
3183     return dane_required ? FAIL : DEFER;
3184   }
3185 }
3186 #endif  /*SUPPORT_DANE*/
3187
3188
3189
3190 /*************************************************
3191 **************************************************
3192 *             Stand-alone test program           *
3193 **************************************************
3194 *************************************************/
3195
3196 #ifdef STAND_ALONE
3197
3198 int main(int argc, char **cargv)
3199 {
3200 host_item h;
3201 int whichrrs = HOST_FIND_BY_MX | HOST_FIND_BY_A | HOST_FIND_BY_AAAA;
3202 BOOL byname = FALSE;
3203 BOOL qualify_single = TRUE;
3204 BOOL search_parents = FALSE;
3205 BOOL request_dnssec = FALSE;
3206 BOOL require_dnssec = FALSE;
3207 uschar **argv = USS cargv;
3208 uschar buffer[256];
3209
3210 disable_ipv6 = FALSE;
3211 primary_hostname = US"";
3212 store_init();
3213 store_pool = POOL_MAIN;
3214 debug_selector = D_host_lookup|D_interface;
3215 debug_file = stdout;
3216 debug_fd = fileno(debug_file);
3217
3218 printf("Exim stand-alone host functions test\n");
3219
3220 host_find_interfaces();
3221 debug_selector = D_host_lookup | D_dns;
3222
3223 if (argc > 1) primary_hostname = argv[1];
3224
3225 /* So that debug level changes can be done first */
3226
3227 dns_init(qualify_single, search_parents, FALSE);
3228
3229 printf("Testing host lookup\n");
3230 printf("> ");
3231 while (Ufgets(buffer, 256, stdin) != NULL)
3232   {
3233   int rc;
3234   int len = Ustrlen(buffer);
3235   uschar *fully_qualified_name;
3236
3237   while (len > 0 && isspace(buffer[len-1])) len--;
3238   buffer[len] = 0;
3239
3240   if (Ustrcmp(buffer, "q") == 0) break;
3241
3242   if (Ustrcmp(buffer, "byname") == 0) byname = TRUE;
3243   else if (Ustrcmp(buffer, "no_byname") == 0) byname = FALSE;
3244   else if (Ustrcmp(buffer, "a_only") == 0) whichrrs = HOST_FIND_BY_A | HOST_FIND_BY_AAAA;
3245   else if (Ustrcmp(buffer, "mx_only") == 0) whichrrs = HOST_FIND_BY_MX;
3246   else if (Ustrcmp(buffer, "srv_only") == 0) whichrrs = HOST_FIND_BY_SRV;
3247   else if (Ustrcmp(buffer, "srv+a") == 0)
3248     whichrrs = HOST_FIND_BY_SRV | HOST_FIND_BY_A | HOST_FIND_BY_AAAA;
3249   else if (Ustrcmp(buffer, "srv+mx") == 0)
3250     whichrrs = HOST_FIND_BY_SRV | HOST_FIND_BY_MX;
3251   else if (Ustrcmp(buffer, "srv+mx+a") == 0)
3252     whichrrs = HOST_FIND_BY_SRV | HOST_FIND_BY_MX | HOST_FIND_BY_A | HOST_FIND_BY_AAAA;
3253   else if (Ustrcmp(buffer, "qualify_single")    == 0) qualify_single = TRUE;
3254   else if (Ustrcmp(buffer, "no_qualify_single") == 0) qualify_single = FALSE;
3255   else if (Ustrcmp(buffer, "search_parents")    == 0) search_parents = TRUE;
3256   else if (Ustrcmp(buffer, "no_search_parents") == 0) search_parents = FALSE;
3257   else if (Ustrcmp(buffer, "request_dnssec")    == 0) request_dnssec = TRUE;
3258   else if (Ustrcmp(buffer, "no_request_dnssec") == 0) request_dnssec = FALSE;
3259   else if (Ustrcmp(buffer, "require_dnssec")    == 0) require_dnssec = TRUE;
3260   else if (Ustrcmp(buffer, "no_require_dnssec") == 0) require_dnssec = FALSE;
3261   else if (Ustrcmp(buffer, "test_harness") == 0)
3262     f.running_in_test_harness = !f.running_in_test_harness;
3263   else if (Ustrcmp(buffer, "ipv6") == 0) disable_ipv6 = !disable_ipv6;
3264   else if (Ustrcmp(buffer, "res_debug") == 0)
3265     {
3266     _res.options ^= RES_DEBUG;
3267     }
3268   else if (Ustrncmp(buffer, "retrans", 7) == 0)
3269     {
3270     (void)sscanf(CS(buffer+8), "%d", &dns_retrans);
3271     _res.retrans = dns_retrans;
3272     }
3273   else if (Ustrncmp(buffer, "retry", 5) == 0)
3274     {
3275     (void)sscanf(CS(buffer+6), "%d", &dns_retry);
3276     _res.retry = dns_retry;
3277     }
3278   else
3279     {
3280     int flags = whichrrs;
3281     dnssec_domains d;
3282
3283     h.name = buffer;
3284     h.next = NULL;
3285     h.mx = MX_NONE;
3286     h.port = PORT_NONE;
3287     h.status = hstatus_unknown;
3288     h.why = hwhy_unknown;
3289     h.address = NULL;
3290
3291     if (qualify_single) flags |= HOST_FIND_QUALIFY_SINGLE;
3292     if (search_parents) flags |= HOST_FIND_SEARCH_PARENTS;
3293
3294     d.request = request_dnssec ? &h.name : NULL;
3295     d.require = require_dnssec ? &h.name : NULL;
3296
3297     rc = byname
3298       ? host_find_byname(&h, NULL, flags, &fully_qualified_name, TRUE)
3299       : host_find_bydns(&h, NULL, flags, US"smtp", NULL, NULL,
3300                         &d, &fully_qualified_name, NULL);
3301
3302     switch (rc)
3303       {
3304       case HOST_FIND_FAILED:    printf("Failed\n");     break;
3305       case HOST_FIND_AGAIN:     printf("Again\n");      break;
3306       case HOST_FIND_SECURITY:  printf("Security\n");   break;
3307       case HOST_FOUND_LOCAL:    printf("Local\n");      break;
3308       }
3309     }
3310
3311   printf("\n> ");
3312   }
3313
3314 printf("Testing host_aton\n");
3315 printf("> ");
3316 while (Ufgets(buffer, 256, stdin) != NULL)
3317   {
3318   int x[4];
3319   int len = Ustrlen(buffer);
3320
3321   while (len > 0 && isspace(buffer[len-1])) len--;
3322   buffer[len] = 0;
3323
3324   if (Ustrcmp(buffer, "q") == 0) break;
3325
3326   len = host_aton(buffer, x);
3327   printf("length = %d ", len);
3328   for (int i = 0; i < len; i++)
3329     {
3330     printf("%04x ", (x[i] >> 16) & 0xffff);
3331     printf("%04x ", x[i] & 0xffff);
3332     }
3333   printf("\n> ");
3334   }
3335
3336 printf("\n");
3337
3338 printf("Testing host_name_lookup\n");
3339 printf("> ");
3340 while (Ufgets(buffer, 256, stdin) != NULL)
3341   {
3342   int len = Ustrlen(buffer);
3343   while (len > 0 && isspace(buffer[len-1])) len--;
3344   buffer[len] = 0;
3345   if (Ustrcmp(buffer, "q") == 0) break;
3346   sender_host_address = buffer;
3347   sender_host_name = NULL;
3348   sender_host_aliases = NULL;
3349   host_lookup_msg = US"";
3350   host_lookup_failed = FALSE;
3351   if (host_name_lookup() == FAIL)  /* Debug causes printing */
3352     printf("Lookup failed:%s\n", host_lookup_msg);
3353   printf("\n> ");
3354   }
3355
3356 printf("\n");
3357
3358 return 0;
3359 }
3360 #endif  /* STAND_ALONE */
3361
3362 /* vi: aw ai sw=2
3363 */
3364 /* End of host.c */