src/src/search.c

   1 /*************************************************
   2 *     Exim - an Internet mail transport agent    *
   3 *************************************************/
   4
   5 /* Copyright (c) University of Cambridge 1995 - 2015 */
   6 /* Copyright (c) The Exim Maintainers 2020 */
   7 /* See the file NOTICE for conditions of use and distribution. */
   8
   9 /* A set of functions to search databases in various formats. An open
  10 database is represented by a void * value which is returned from a lookup-
  11 specific "open" function. These are now all held in individual modules in the
  12 lookups subdirectory and the functions here form a generic interface.
  13
  14 Caching is used to improve performance. Open files are cached until a tidyup
  15 function is called, and for each file the result of the last lookup is cached.
  16 However, if too many files are opened, some of those that are not in use have
  17 to be closed. Those open items that use real files are kept on a LRU chain to
  18 help with this.
  19
  20 All the data is held in permanent store so as to be independent of the stacking
  21 pool that is reset from time to time. In fact, we use malloc'd store so that it
  22 can be freed when the caches are tidied up. It isn't actually clear whether
  23 this is a benefit or not, to be honest. */
  24
  25 #include "exim.h"
  26
  27
  28 /* Tree in which to cache open files until tidyup called. */
  29
  30 static tree_node *search_tree = NULL;
  31
  32 /* Two-way chain of open databases that use real files. This is maintained in
  33 recently-used order for the purposes of closing the least recently used when
  34 too many files are open. */
  35
  36 static tree_node *open_top = NULL;
  37 static tree_node *open_bot = NULL;
  38
  39 /* Count of open databases that use real files */
  40
  41 static int open_filecount = 0;
  42
  43 /* Allow us to reset store used for lookups and lookup caching */
  44
  45 static rmark search_reset_point = NULL;
  46
  47
  48
  49 /*************************************************
  50 *      Validate a plain lookup type name         *
  51 *************************************************/
  52
  53 /* Only those names that are recognized and whose code is included in the
  54 binary give an OK response. Use a binary chop search now that the list has got
  55 so long.
  56
  57 Arguments:
  58   name       lookup type name - not necessarily zero terminated (e.g. dbm*)
  59   len        length of the name
  60
  61 Returns:     +ve => valid lookup name; value is offset in lookup_list
  62              -ve => invalid name; message in search_error_message.
  63 */
  64
  65 int
  66 search_findtype(const uschar *name, int len)
  67 {
  68 int bot = 0;
  69 int top = lookup_list_count;
  70 while (top > bot)
  71   {
  72   int mid = (top + bot)/2;
  73   int c = Ustrncmp(name, lookup_list[mid]->name, len);
  74
  75   /* If c == 0 we have matched the incoming name with the start of the search
  76   type name. However, some search types are substrings of others (e.g. nis and
  77   nisplus) so we need to check that the lengths are the same. The length of the
  78   type name cannot be shorter (else c would not be 0); if it is not equal it
  79   must be longer, and in that case, the incoming name comes before the name we
  80   are testing. By leaving c == 0 when the lengths are different, and doing a
  81   > 0 test below, this all falls out correctly. */
  82
  83   if (c == 0 && Ustrlen(lookup_list[mid]->name) == len)
  84     {
  85     if (lookup_list[mid]->find != NULL) return mid;
  86     search_error_message  = string_sprintf("lookup type \"%.*s\" is not "
  87       "available (not in the binary - check buildtime LOOKUP configuration)",
  88       len, name);
  89     return -1;
  90     }
  91
  92   if (c > 0) bot = mid + 1; else top = mid;
  93   }
  94
  95 search_error_message = string_sprintf("unknown lookup type \"%.*s\"",len,name);
  96 return -1;
  97 }
  98
  99
 100
 101 /*************************************************
 102 *       Validate a full lookup type name         *
 103 *************************************************/
 104
 105 /* This function recognizes the "partial-" prefix and also terminating * and *@
 106 suffixes.
 107
 108 Arguments:
 109   name         the full lookup type name
 110   ptypeptr     where to put the partial type
 111                  after subtraction of 1024 or 2048:
 112                    negative     => no partial matching
 113                    non-negative => minimum number of non-wild components
 114   ptypeaff     where to put a pointer to the affix
 115                  the affix is within name if supplied therein
 116                  otherwise it's a literal string
 117   afflen       the length of the affix
 118   starflags    where to put the SEARCH_STAR and SEARCH_STARAT flags
 119   opts         where to put the options
 120
 121 Returns:     +ve => valid lookup name; value is offset in lookup_list
 122              -ve => invalid name; message in search_error_message.
 123 */
 124
 125 int
 126 search_findtype_partial(const uschar *name, int *ptypeptr, const uschar **ptypeaff,
 127   int *afflen, int *starflags, const uschar ** opts)
 128 {
 129 int len, stype;
 130 int pv = -1;
 131 const uschar *ss = name;
 132 const uschar * t;
 133
 134 *starflags = 0;
 135 *ptypeaff = NULL;
 136
 137 /* Check for a partial matching type. It must start with "partial", optionally
 138 followed by a sequence of digits. If this is followed by "-", the affix is the
 139 default "*." string. Otherwise we expect an affix in parentheses. Affixes are a
 140 limited number of characters, not including parens. */
 141
 142 if (Ustrncmp(name, "partial", 7) == 0)
 143   {
 144   ss += 7;
 145   if (isdigit (*ss))
 146     {
 147     pv = 0;
 148     while (isdigit(*ss)) pv = pv*10 + *ss++ - '0';
 149     }
 150   else pv = 2;         /* Default number of wild components */
 151
 152   if (*ss == '(')
 153     {
 154     *ptypeaff = ++ss;
 155     while (ispunct(*ss) && *ss != ')') ss++;
 156     if (*ss != ')') goto BAD_TYPE;
 157     *afflen = ss++ - *ptypeaff;
 158     }
 159   else if (*ss++ == '-')
 160     {
 161     *ptypeaff = US "*.";
 162     *afflen = 2;
 163     }
 164   else
 165     {
 166     BAD_TYPE:
 167     search_error_message = string_sprintf("format error in lookup type \"%s\"",
 168       name);
 169     return -1;
 170     }
 171   }
 172
 173 /* Now we are left with a lookup name, possibly followed by * or *@,
 174 and then by options starting with a "," */
 175
 176 len = Ustrlen(ss);
 177 if ((t = Ustrchr(ss, '*')))
 178   {
 179   len = t - ss;
 180   *starflags |= (t[1] == '@' ? SEARCH_STARAT : SEARCH_STAR);
 181   }
 182 else
 183   t = ss;
 184
 185 if ((t = Ustrchr(t, ',')))
 186   {
 187   int l = t - ss;
 188   if (l < len) len = l;
 189   *opts = string_copy(t+1);
 190   }
 191 else
 192   *opts = NULL;
 193
 194 /* Check for the individual search type. Only those that are actually in the
 195 binary are valid. For query-style types, "partial" and default types are
 196 erroneous. */
 197
 198 stype = search_findtype(ss, len);
 199 if (stype >= 0 && mac_islookup(stype, lookup_querystyle))
 200   {
 201   if (pv >= 0)
 202     {
 203     search_error_message = string_sprintf("\"partial\" is not permitted "
 204       "for lookup type \"%s\"", ss);
 205     return -1;
 206     }
 207   if ((*starflags & (SEARCH_STAR|SEARCH_STARAT)) != 0)
 208     {
 209     search_error_message = string_sprintf("defaults using \"*\" or \"*@\" are "
 210       "not permitted for lookup type \"%s\"", ss);
 211     return -1;
 212     }
 213   }
 214
 215 *ptypeptr = pv;
 216 return stype;
 217 }
 218
 219
 220
 221 /*************************************************
 222 *               Release cached resources         *
 223 *************************************************/
 224
 225 /* When search_open is called it caches the "file" that it opens in
 226 search_tree. The name of the tree node is a concatenation of the search type
 227 with the file name. For query-style lookups, the file name is empty. Real files
 228 are normally closed only when this tidyup routine is called, typically at the
 229 end of sections of code where a number of lookups might occur. However, if too
 230 many files are open simultaneously, some get closed beforehand. They can't be
 231 removed from the tree. There is also a general tidyup function which is called
 232 for the lookup driver, if it exists.
 233
 234 First, there is an internal, recursive subroutine.
 235
 236 Argument:    a pointer to a search_openfile tree node
 237 Returns:     nothing
 238 */
 239
 240 static void
 241 tidyup_subtree(tree_node *t)
 242 {
 243 search_cache * c = (search_cache *)(t->data.ptr);
 244 if (t->left)  tidyup_subtree(t->left);
 245 if (t->right) tidyup_subtree(t->right);
 246 if (c && c->handle && lookup_list[c->search_type]->close)
 247   lookup_list[c->search_type]->close(c->handle);
 248 }
 249
 250
 251 /* The external entry point
 252
 253 Argument: none
 254 Returns:  nothing
 255 */
 256
 257 void
 258 search_tidyup(void)
 259 {
 260 int old_pool = store_pool;
 261
 262 DEBUG(D_lookup) debug_printf_indent("search_tidyup called\n");
 263
 264 /* Close individually each cached open file. */
 265
 266 store_pool = POOL_SEARCH;
 267 if (search_tree)
 268   {
 269   tidyup_subtree(search_tree);
 270   search_tree = NULL;
 271   }
 272 open_top = open_bot = NULL;
 273 open_filecount = 0;
 274
 275 /* Call the general tidyup entry for any drivers that have one. */
 276
 277 for (int i = 0; i < lookup_list_count; i++) if (lookup_list[i]->tidy)
 278   (lookup_list[i]->tidy)();
 279
 280 if (search_reset_point) search_reset_point = store_reset(search_reset_point);
 281 store_pool = old_pool;
 282 }
 283
 284
 285
 286
 287 /*************************************************
 288 *             Open search database               *
 289 *************************************************/
 290
 291 /* A mode, and lists of owners and groups, are passed over for checking in
 292 the cases where the database is one or more files. Return NULL, with a message
 293 pointed to by message, in cases of error.
 294
 295 For search types that use a file or files, check up on the mode after
 296 opening. It is tempting to do a stat before opening the file, and use it as
 297 an existence check. However, doing that opens a small security loophole in
 298 that the status could be changed before the file is opened. Can't quite see
 299 what problems this might lead to, but you can't be too careful where security
 300 is concerned. Fstat() on an open file can normally be expected to succeed,
 301 but there are some NFS states where it does not.
 302
 303 There are two styles of query: (1) in the "single-key+file" style, a single
 304 key string and a file name are given, for example, for linear searches, DBM
 305 files, or for NIS. (2) In the "query" style, no "filename" is given; instead
 306 just a single query string is passed. This applies to multiple-key lookup
 307 types such as NIS+.
 308
 309 Before opening, scan the tree of cached files to see if this file is already
 310 open for the correct search type. If so, return the saved handle. If not, put
 311 the handle in the tree for possible subsequent use. See search_tidyup above for
 312 closing all the cached files.
 313
 314 A count of open databases which use real files is maintained, and if this
 315 gets too large, we have to close a cached file. Its entry remains in the tree,
 316 but is marked closed.
 317
 318 Arguments:
 319   filename       the name of the file for single-key+file style lookups,
 320                  NULL for query-style lookups
 321   search_type    the type of search required
 322   modemask       if a real single file is used, this specifies mode bits that
 323                  must not be set; otherwise it is ignored
 324   owners         if a real single file is used, this specifies the possible
 325                  owners of the file; otherwise it is ignored
 326   owngroups      if a real single file is used, this specifies the possible
 327                  group owners of the file; otherwise it is ignored
 328
 329 Returns:         an identifying handle for the open database;
 330                  this is the pointer to the tree block in the
 331                  cache of open files; return NULL on open failure, with
 332                  a message in search_error_message
 333 */
 334
 335 void *
 336 search_open(const uschar * filename, int search_type, int modemask,
 337   uid_t * owners, gid_t * owngroups)
 338 {
 339 void *handle;
 340 tree_node *t;
 341 search_cache *c;
 342 lookup_info *lk = lookup_list[search_type];
 343 uschar keybuffer[256];
 344 int old_pool = store_pool;
 345
 346 if (filename && is_tainted(filename))
 347   {
 348   log_write(0, LOG_MAIN|LOG_PANIC,
 349     "Tainted filename for search: '%s'", filename);
 350   return NULL;
 351   }
 352
 353 /* Change to the search store pool and remember our reset point */
 354
 355 store_pool = POOL_SEARCH;
 356 if (!search_reset_point) search_reset_point = store_mark();
 357
 358 DEBUG(D_lookup) debug_printf_indent("search_open: %s \"%s\"\n", lk->name,
 359   filename ? filename : US"NULL");
 360
 361 /* See if we already have this open for this type of search, and if so,
 362 pass back the tree block as the handle. The key for the tree node is the search
 363 type plus '0' concatenated with the file name. There may be entries in the tree
 364 with closed files if a lot of files have been opened. */
 365
 366 sprintf(CS keybuffer, "%c%.254s", search_type + '0',
 367   filename ? filename : US"");
 368
 369 if ((t = tree_search(search_tree, keybuffer)))
 370   {
 371   if ((c = (search_cache *)t->data.ptr)->handle)
 372     {
 373     DEBUG(D_lookup) debug_printf_indent("  cached open\n");
 374     store_pool = old_pool;
 375     return t;
 376     }
 377   DEBUG(D_lookup) debug_printf_indent("  cached closed\n");
 378   }
 379
 380 /* Otherwise, we need to open the file or database - each search type has its
 381 own code, which is now split off into separately compiled modules. Before doing
 382 this, if the search type is one that uses real files, check on the number that
 383 we are holding open in the cache. If the limit is reached, close the least
 384 recently used one. */
 385
 386 if (lk->type == lookup_absfile && open_filecount >= lookup_open_max)
 387   if (!open_bot)
 388     log_write(0, LOG_MAIN|LOG_PANIC, "too many lookups open, but can't find "
 389       "one to close");
 390   else
 391     {
 392     search_cache *c = (search_cache *)(open_bot->data.ptr);
 393     DEBUG(D_lookup) debug_printf_indent("Too many lookup files open\n  closing %s\n",
 394       open_bot->name);
 395     if ((open_bot = c->up))
 396       ((search_cache *)(open_bot->data.ptr))->down = NULL;
 397     else
 398       open_top = NULL;
 399     ((lookup_list[c->search_type])->close)(c->handle);
 400     c->handle = NULL;
 401     open_filecount--;
 402     }
 403
 404 /* If opening is successful, call the file-checking function if there is one,
 405 and if all is still well, enter the open database into the tree. */
 406
 407 if (!(handle = (lk->open)(filename, &search_error_message)))
 408   {
 409   store_pool = old_pool;
 410   return NULL;
 411   }
 412
 413 if (  lk->check
 414    && !lk->check(handle, filename, modemask, owners, owngroups,
 415          &search_error_message))
 416   {
 417   lk->close(handle);
 418   store_pool = old_pool;
 419   return NULL;
 420   }
 421
 422 /* If this is a search type that uses real files, keep count. */
 423
 424 if (lk->type == lookup_absfile) open_filecount++;
 425
 426 /* If we found a previously opened entry in the tree, re-use it; otherwise
 427 insert a new entry. On re-use, leave any cached lookup data and the lookup
 428 count alone. */
 429
 430 if (!t)
 431   {
 432   t = store_get(sizeof(tree_node) + Ustrlen(keybuffer), FALSE);
 433   t->data.ptr = c = store_get(sizeof(search_cache), FALSE);
 434   c->item_cache = NULL;
 435   Ustrcpy(t->name, keybuffer);
 436   tree_insertnode(&search_tree, t);
 437   }
 438 else c = t->data.ptr;
 439
 440 c->handle = handle;
 441 c->search_type = search_type;
 442 c->up = c->down = NULL;
 443
 444 store_pool = old_pool;
 445 return t;
 446 }
 447
 448
 449
 450
 451
 452 /*************************************************
 453 *  Internal function: Find one item in database  *
 454 *************************************************/
 455
 456 /* The answer is always put into dynamic store. The last lookup for each handle
 457 is cached.
 458
 459 Arguments:
 460   handle       the handle from search_open; points to tree node
 461   filename     the filename that was handed to search_open, or
 462                NULL for query-style searches
 463   keystring    the keystring for single-key+file lookups, or
 464                the querystring for query-style lookups
 465   cache_rd     FALSE to avoid lookup in cache layer
 466   opts         type-specific options
 467
 468 Returns:       a pointer to a dynamic string containing the answer,
 469                or NULL if the query failed or was deferred; in the
 470                latter case, search_find_defer is set TRUE; after an unusual
 471                failure, there may be a message in search_error_message.
 472 */
 473
 474 static uschar *
 475 internal_search_find(void * handle, const uschar * filename, uschar * keystring,
 476   BOOL cache_rd, const uschar * opts)
 477 {
 478 tree_node * t = (tree_node *)handle;
 479 search_cache * c = (search_cache *)(t->data.ptr);
 480 expiring_data * e = NULL;       /* compiler quietening */
 481 uschar * data = NULL;
 482 int search_type = t->name[0] - '0';
 483 int old_pool = store_pool;
 484
 485 /* Lookups that return DEFER may not always set an error message. So that
 486 the callers don't have to test for NULL, set an empty string. */
 487
 488 search_error_message = US"";
 489 f.search_find_defer = FALSE;
 490
 491 DEBUG(D_lookup) debug_printf_indent("internal_search_find: file=\"%s\"\n  "
 492   "type=%s key=\"%s\" opts=%s%s%s\n", filename,
 493   lookup_list[search_type]->name, keystring,
 494   opts ? "\"" : "", opts, opts ? "\"" : "");
 495
 496 /* Insurance. If the keystring is empty, just fail. */
 497
 498 if (keystring[0] == 0) return NULL;
 499
 500 /* Use the special store pool for search data */
 501
 502 store_pool = POOL_SEARCH;
 503
 504 /* Look up the data for the key, unless it is already in the cache for this
 505 file. No need to check c->item_cache for NULL, tree_search will do so. Check
 506 whether we want to use the cache entry last so that we can always replace it. */
 507
 508 if (  (t = tree_search(c->item_cache, keystring))
 509    && (!(e = t->data.ptr)->expiry || e->expiry > time(NULL))
 510    && (!opts && !e->opts  ||  opts && e->opts && Ustrcmp(opts, e->opts) == 0)
 511    && cache_rd
 512    )
 513   { /* Data was in the cache already; set the pointer from the tree node */
 514   data = e->data.ptr;
 515   DEBUG(D_lookup) debug_printf_indent("cached data used for lookup of %s%s%s\n",
 516     keystring,
 517     filename ? US"\n  in " : US"", filename ? filename : US"");
 518   }
 519 else
 520   {
 521   uint do_cache = UINT_MAX;
 522   int keylength = Ustrlen(keystring);
 523
 524   DEBUG(D_lookup)
 525     {
 526     if (t)
 527       debug_printf_indent("cached data found but %s; ",
 528         e->expiry && e->expiry <= time(NULL) ? "out-of-date"
 529         : cache_rd ? "wrong opts" : "no_rd option set");
 530     debug_printf_indent("%s lookup required for %s%s%s\n",
 531       filename ? US"file" : US"database",
 532       keystring,
 533       filename ? US"\n  in " : US"", filename ? filename : US"");
 534     }
 535
 536   /* Call the code for the different kinds of search. DEFER is handled
 537   like FAIL, except that search_find_defer is set so the caller can
 538   distinguish if necessary. */
 539
 540   if (lookup_list[search_type]->find(c->handle, filename, keystring, keylength,
 541       &data, &search_error_message, &do_cache, opts) == DEFER)
 542     f.search_find_defer = TRUE;
 543
 544   /* A record that has been found is now in data, which is either NULL
 545   or points to a bit of dynamic store. Cache the result of the lookup if
 546   caching is permitted. Lookups can disable caching, when they did something
 547   that changes their data. The mysql and pgsql lookups do this when an
 548   UPDATE/INSERT query was executed.  Lookups can also set a TTL for the
 549   cache entry; the dnsdb lookup does.
 550   Finally, the caller can request no caching by setting an option. */
 551
 552   else if (do_cache)
 553     {
 554     DEBUG(D_lookup) debug_printf_indent("%s cache entry\n",
 555       t ? "replacing old" : "creating new");
 556     if (!t)     /* No existing entry.  Create new one. */
 557       {
 558       int len = keylength + 1;
 559       e = store_get(sizeof(expiring_data) + sizeof(tree_node) + len,
 560                     is_tainted(keystring));
 561       t = (tree_node *)(e+1);
 562       memcpy(t->name, keystring, len);
 563       t->data.ptr = e;
 564       tree_insertnode(&c->item_cache, t);
 565       }
 566       /* Else previous, out-of-date cache entry.  Update with the */
 567       /* new result and forget the old one */
 568     e->expiry = do_cache == UINT_MAX ? 0 : time(NULL)+do_cache;
 569     e->opts = opts ? string_copy(opts) : NULL;
 570     e->data.ptr = data;
 571     }
 572
 573   /* If caching was disabled, empty the cache tree. We just set the cache
 574   pointer to NULL here, because we cannot release the store at this stage. */
 575
 576   else
 577     {
 578     DEBUG(D_lookup) debug_printf_indent("lookup forced cache cleanup\n");
 579     c->item_cache = NULL;       /* forget all lookups on this connection */
 580     }
 581   }
 582
 583 DEBUG(D_lookup)
 584   {
 585   if (data)
 586     debug_printf_indent("lookup yielded: %s\n", data);
 587   else if (f.search_find_defer)
 588     debug_printf_indent("lookup deferred: %s\n", search_error_message);
 589   else debug_printf_indent("lookup failed\n");
 590   }
 591
 592 /* Return it in new dynamic store in the regular pool */
 593
 594 store_pool = old_pool;
 595 return data ? string_copy(data) : NULL;
 596 }
 597
 598
 599
 600
 601 /*************************************************
 602 * Find one item in database, possibly wildcarded *
 603 *************************************************/
 604
 605 /* This function calls the internal function above; once only if there
 606 is no partial matching, but repeatedly when partial matching is requested.
 607
 608 Arguments:
 609   handle         the handle from search_open
 610   filename       the filename that was handed to search_open, or
 611                    NULL for query-style searches
 612   keystring      the keystring for single-key+file lookups, or
 613                    the querystring for query-style lookups
 614   partial        -1 means no partial matching;
 615                    otherwise it's the minimum number of components;
 616   affix          the affix string for partial matching
 617   affixlen       the length of the affix string
 618   starflags      SEARCH_STAR and SEARCH_STARAT flags
 619   expand_setup   pointer to offset for setting up expansion strings;
 620                  don't do any if < 0
 621   opts           type-specific options
 622
 623 Returns:         a pointer to a dynamic string containing the answer,
 624                  or NULL if the query failed or was deferred; in the
 625                  latter case, search_find_defer is set TRUE
 626 */
 627
 628 uschar *
 629 search_find(void * handle, const uschar * filename, uschar * keystring,
 630   int partial, const uschar * affix, int affixlen, int starflags,
 631   int * expand_setup, const uschar * opts)
 632 {
 633 tree_node * t = (tree_node *)handle;
 634 BOOL set_null_wild = FALSE, cache_rd = TRUE, ret_key = FALSE;
 635 uschar * yield;
 636
 637 DEBUG(D_lookup)
 638   {
 639   if (partial < 0) affixlen = 99;   /* So that "NULL" prints */
 640   debug_printf_indent("search_find: file=\"%s\"\n  key=\"%s\" "
 641     "partial=%d affix=%.*s starflags=%x opts=%s%s%s\n",
 642     filename ? filename : US"NULL",
 643     keystring, partial, affixlen, affix, starflags,
 644     opts ? "\"" : "", opts, opts ? "\"" : "");
 645
 646   }
 647
 648 /* Parse global lookup options. Also, create a new options list with
 649 the global options dropped so that the cache-modifiers are not
 650 used in the cache key. */
 651
 652 if (opts)
 653   {
 654   int sep = ',';
 655   gstring * g = NULL;
 656
 657   for (uschar * ele; ele = string_nextinlist(&opts, &sep, NULL, 0); )
 658     if (Ustrcmp(ele, "ret=key") == 0) ret_key = TRUE;
 659     else if (Ustrcmp(ele, "cache=no_rd") == 0) cache_rd = FALSE;
 660     else g = string_append_listele(g, ',', ele);
 661
 662   opts = string_from_gstring(g);
 663   }
 664
 665 /* Arrange to put this database at the top of the LRU chain if it is a type
 666 that opens real files. */
 667
 668 if (  open_top != (tree_node *)handle
 669    && lookup_list[t->name[0]-'0']->type == lookup_absfile)
 670   {
 671   search_cache *c = (search_cache *)(t->data.ptr);
 672   tree_node *up = c->up;
 673   tree_node *down = c->down;
 674
 675   /* Cut it out of the list. A newly opened file will a NULL up pointer.
 676   Otherwise there will be a non-NULL up pointer, since we checked above that
 677   this block isn't already at the top of the list. */
 678
 679   if (up)
 680     {
 681     ((search_cache *)(up->data.ptr))->down = down;
 682     if (down)
 683       ((search_cache *)(down->data.ptr))->up = up;
 684     else
 685       open_bot = up;
 686     }
 687
 688   /* Now put it at the head of the list. */
 689
 690   c->up = NULL;
 691   c->down = open_top;
 692   if (!open_top) open_bot = t;
 693   else ((search_cache *)(open_top->data.ptr))->up = t;
 694   open_top = t;
 695   }
 696
 697 DEBUG(D_lookup)
 698   {
 699   debug_printf_indent("LRU list:\n");
 700   for (tree_node *t = open_top; t; )
 701     {
 702     search_cache *c = (search_cache *)(t->data.ptr);
 703     debug_printf_indent("  %s\n", t->name);
 704     if (t == open_bot) debug_printf_indent("  End\n");
 705     t = c->down;
 706     }
 707   }
 708
 709 /* First of all, try to match the key string verbatim. If matched a complete
 710 entry but could have been partial, flag to set up variables. */
 711
 712 yield = internal_search_find(handle, filename, keystring, cache_rd, opts);
 713 if (f.search_find_defer) return NULL;
 714
 715 if (yield) { if (partial >= 0) set_null_wild = TRUE; }
 716
 717 /* Not matched a complete entry; handle partial lookups, but only if the full
 718 search didn't defer. Don't use string_sprintf() to construct the initial key,
 719 just in case the original key is too long for the string_sprintf() buffer (it
 720 *has* happened!). The case of a zero-length affix has to be treated specially.
 721 */
 722
 723 else if (partial >= 0)
 724   {
 725   int len = Ustrlen(keystring);
 726   uschar *keystring2;
 727
 728   /* Try with the affix on the front, except for a zero-length affix */
 729
 730   if (affixlen == 0) keystring2 = keystring; else
 731     {
 732     keystring2 = store_get(len + affixlen + 1,
 733                         is_tainted(keystring) || is_tainted(affix));
 734     Ustrncpy(keystring2, affix, affixlen);
 735     Ustrcpy(keystring2 + affixlen, keystring);
 736     DEBUG(D_lookup) debug_printf_indent("trying partial match %s\n", keystring2);
 737     yield = internal_search_find(handle, filename, keystring2, cache_rd, opts);
 738     if (f.search_find_defer) return NULL;
 739     }
 740
 741   /* The key in its entirety did not match a wild entry; try chopping off
 742   leading components. */
 743
 744   if (!yield)
 745     {
 746     int dotcount = 0;
 747     uschar *keystring3 = keystring2 + affixlen;
 748     uschar *s = keystring3;
 749     while (*s != 0) if (*s++ == '.') dotcount++;
 750
 751     while (dotcount-- >= partial)
 752       {
 753       while (*keystring3 != 0 && *keystring3 != '.') keystring3++;
 754
 755       /* If we get right to the end of the string (which will be the last time
 756       through this loop), we've failed if the affix is null. Otherwise do one
 757       last lookup for the affix itself, but if it is longer than 1 character,
 758       remove the last character if it is ".". */
 759
 760       if (*keystring3 == 0)
 761         {
 762         if (affixlen < 1) break;
 763         if (affixlen > 1 && affix[affixlen-1] == '.') affixlen--;
 764         Ustrncpy(keystring2, affix, affixlen);
 765         keystring2[affixlen] = 0;
 766         keystring3 = keystring2;
 767         }
 768       else
 769         {
 770         keystring3 -= affixlen - 1;
 771         if (affixlen > 0) Ustrncpy(keystring3, affix, affixlen);
 772         }
 773
 774       DEBUG(D_lookup) debug_printf_indent("trying partial match %s\n", keystring3);
 775       yield = internal_search_find(handle, filename, keystring3,
 776                 cache_rd, opts);
 777       if (f.search_find_defer) return NULL;
 778       if (yield)
 779         {
 780         /* First variable is the wild part; second is the fixed part. Take care
 781         to get it right when keystring3 is just "*". */
 782
 783         if (expand_setup && *expand_setup >= 0)
 784           {
 785           int fixedlength = Ustrlen(keystring3) - affixlen;
 786           int wildlength = Ustrlen(keystring) - fixedlength - 1;
 787           *expand_setup += 1;
 788           expand_nstring[*expand_setup] = keystring;
 789           expand_nlength[*expand_setup] = wildlength;
 790           *expand_setup += 1;
 791           expand_nstring[*expand_setup] = keystring + wildlength + 1;
 792           expand_nlength[*expand_setup] = (fixedlength < 0)? 0 : fixedlength;
 793           }
 794         break;
 795         }
 796       keystring3 += affixlen;
 797       }
 798     }
 799
 800   else set_null_wild = TRUE; /* Matched a wild entry without any wild part */
 801   }
 802
 803 /* If nothing has been matched, but the option to look for "*@" is set, try
 804 replacing everything to the left of @ by *. After a match, the wild part
 805 is set to the string to the left of the @. */
 806
 807 if (!yield  &&  starflags & SEARCH_STARAT)
 808   {
 809   uschar *atat = Ustrrchr(keystring, '@');
 810   if (atat != NULL && atat > keystring)
 811     {
 812     int savechar;
 813     savechar = *(--atat);
 814     *atat = '*';
 815
 816     DEBUG(D_lookup) debug_printf_indent("trying default match %s\n", atat);
 817     yield = internal_search_find(handle, filename, atat, cache_rd, opts);
 818     *atat = savechar;
 819     if (f.search_find_defer) return NULL;
 820
 821     if (yield && expand_setup && *expand_setup >= 0)
 822       {
 823       *expand_setup += 1;
 824       expand_nstring[*expand_setup] = keystring;
 825       expand_nlength[*expand_setup] = atat - keystring + 1;
 826       *expand_setup += 1;
 827       expand_nstring[*expand_setup] = keystring;
 828       expand_nlength[*expand_setup] = 0;
 829       }
 830     }
 831   }
 832
 833 /* If we still haven't matched anything, and the option to look for "*" is set,
 834 try that. If we do match, the first variable (the wild part) is the whole key,
 835 and the second is empty. */
 836
 837 if (!yield  &&  starflags & (SEARCH_STAR|SEARCH_STARAT))
 838   {
 839   DEBUG(D_lookup) debug_printf_indent("trying to match *\n");
 840   yield = internal_search_find(handle, filename, US"*", cache_rd, opts);
 841   if (yield && expand_setup && *expand_setup >= 0)
 842     {
 843     *expand_setup += 1;
 844     expand_nstring[*expand_setup] = keystring;
 845     expand_nlength[*expand_setup] = Ustrlen(keystring);
 846     *expand_setup += 1;
 847     expand_nstring[*expand_setup] = keystring;
 848     expand_nlength[*expand_setup] = 0;
 849     }
 850   }
 851
 852 /* If this was a potentially partial lookup, and we matched either a
 853 complete non-wild domain entry, or we matched a wild-carded entry without
 854 chopping off any of the domain components, set up the expansion variables
 855 (if required) so that the first one is empty, and the second one is the
 856 fixed part of the domain. The set_null_wild flag is set only when yield is not
 857 NULL. */
 858
 859 if (set_null_wild && expand_setup && *expand_setup >= 0)
 860   {
 861   *expand_setup += 1;
 862   expand_nstring[*expand_setup] = keystring;
 863   expand_nlength[*expand_setup] = 0;
 864   *expand_setup += 1;
 865   expand_nstring[*expand_setup] = keystring;
 866   expand_nlength[*expand_setup] = Ustrlen(keystring);
 867   }
 868
 869 /* If we have a result, check the options to see if the key was wanted rather
 870 than the result.  Return a de-tainted version of the key on the grounds that
 871 it have been validated by the lookup. */
 872
 873 if (yield && ret_key)
 874   yield = string_copy_taint(keystring, FALSE);
 875
 876 return yield;
 877 }
 878
 879 /* End of search.c */