src/src/search.c

   1 /*************************************************
   2 *     Exim - an Internet mail transport agent    *
   3 *************************************************/
   4
   5 /* Copyright (c) University of Cambridge 1995 - 2015 */
   6 /* See the file NOTICE for conditions of use and distribution. */
   7
   8 /* A set of functions to search databases in various formats. An open
   9 database is represented by a void * value which is returned from a lookup-
  10 specific "open" function. These are now all held in individual modules in the
  11 lookups subdirectory and the functions here form a generic interface.
  12
  13 Caching is used to improve performance. Open files are cached until a tidyup
  14 function is called, and for each file the result of the last lookup is cached.
  15 However, if too many files are opened, some of those that are not in use have
  16 to be closed. Those open items that use real files are kept on a LRU chain to
  17 help with this.
  18
  19 All the data is held in permanent store so as to be independent of the stacking
  20 pool that is reset from time to time. In fact, we use malloc'd store so that it
  21 can be freed when the caches are tidied up. It isn't actually clear whether
  22 this is a benefit or not, to be honest. */
  23
  24 #include "exim.h"
  25
  26
  27 /* Tree in which to cache open files until tidyup called. */
  28
  29 static tree_node *search_tree = NULL;
  30
  31 /* Two-way chain of open databases that use real files. This is maintained in
  32 recently-used order for the purposes of closing the least recently used when
  33 too many files are open. */
  34
  35 static tree_node *open_top = NULL;
  36 static tree_node *open_bot = NULL;
  37
  38 /* Count of open databases that use real files */
  39
  40 static int open_filecount = 0;
  41
  42 /* Allow us to reset store used for lookups and lookup caching */
  43
  44 static rmark search_reset_point = NULL;
  45
  46
  47
  48 /*************************************************
  49 *      Validate a plain lookup type name         *
  50 *************************************************/
  51
  52 /* Only those names that are recognized and whose code is included in the
  53 binary give an OK response. Use a binary chop search now that the list has got
  54 so long.
  55
  56 Arguments:
  57   name       lookup type name - not necessarily zero terminated (e.g. dbm*)
  58   len        length of the name
  59
  60 Returns:     +ve => valid lookup name; value is offset in lookup_list
  61              -ve => invalid name; message in search_error_message.
  62 */
  63
  64 int
  65 search_findtype(const uschar *name, int len)
  66 {
  67 int bot = 0;
  68 int top = lookup_list_count;
  69 while (top > bot)
  70   {
  71   int mid = (top + bot)/2;
  72   int c = Ustrncmp(name, lookup_list[mid]->name, len);
  73
  74   /* If c == 0 we have matched the incoming name with the start of the search
  75   type name. However, some search types are substrings of others (e.g. nis and
  76   nisplus) so we need to check that the lengths are the same. The length of the
  77   type name cannot be shorter (else c would not be 0); if it is not equal it
  78   must be longer, and in that case, the incoming name comes before the name we
  79   are testing. By leaving c == 0 when the lengths are different, and doing a
  80   > 0 test below, this all falls out correctly. */
  81
  82   if (c == 0 && Ustrlen(lookup_list[mid]->name) == len)
  83     {
  84     if (lookup_list[mid]->find != NULL) return mid;
  85     search_error_message  = string_sprintf("lookup type \"%.*s\" is not "
  86       "available (not in the binary - check buildtime LOOKUP configuration)",
  87       len, name);
  88     return -1;
  89     }
  90
  91   if (c > 0) bot = mid + 1; else top = mid;
  92   }
  93
  94 search_error_message = string_sprintf("unknown lookup type \"%.*s\"",len,name);
  95 return -1;
  96 }
  97
  98
  99
 100 /*************************************************
 101 *       Validate a full lookup type name         *
 102 *************************************************/
 103
 104 /* This function recognizes the "partial-" prefix and also terminating * and *@
 105 suffixes.
 106
 107 Arguments:
 108   name         the full lookup type name
 109   ptypeptr     where to put the partial type
 110                  after subtraction of 1024 or 2048:
 111                    negative     => no partial matching
 112                    non-negative => minimum number of non-wild components
 113   ptypeaff     where to put a pointer to the affix
 114                  the affix is within name if supplied therein
 115                  otherwise it's a literal string
 116   afflen       the length of the affix
 117   starflags    where to put the SEARCH_STAR and SEARCH_STARAT flags
 118
 119 Returns:     +ve => valid lookup name; value is offset in lookup_list
 120              -ve => invalid name; message in search_error_message.
 121 */
 122
 123 int
 124 search_findtype_partial(const uschar *name, int *ptypeptr, const uschar **ptypeaff,
 125   int *afflen, int *starflags)
 126 {
 127 int len, stype;
 128 int pv = -1;
 129 const uschar *ss = name;
 130
 131 *starflags = 0;
 132 *ptypeaff = NULL;
 133
 134 /* Check for a partial matching type. It must start with "partial", optionally
 135 followed by a sequence of digits. If this is followed by "-", the affix is the
 136 default "*." string. Otherwise we expect an affix in parentheses. Affixes are a
 137 limited number of characters, not including parens. */
 138
 139 if (Ustrncmp(name, "partial", 7) == 0)
 140   {
 141   ss += 7;
 142   if (isdigit (*ss))
 143     {
 144     pv = 0;
 145     while (isdigit(*ss)) pv = pv*10 + *ss++ - '0';
 146     }
 147   else pv = 2;         /* Default number of wild components */
 148
 149   if (*ss == '(')
 150     {
 151     *ptypeaff = ++ss;
 152     while (ispunct(*ss) && *ss != ')') ss++;
 153     if (*ss != ')') goto BAD_TYPE;
 154     *afflen = ss++ - *ptypeaff;
 155     }
 156   else if (*ss++ == '-')
 157     {
 158     *ptypeaff = US "*.";
 159     *afflen = 2;
 160     }
 161   else
 162     {
 163     BAD_TYPE:
 164     search_error_message = string_sprintf("format error in lookup type \"%s\"",
 165       name);
 166     return -1;
 167     }
 168   }
 169
 170 /* Now we are left with a lookup name, possibly followed by * or *@. */
 171
 172 len = Ustrlen(ss);
 173 if (len >= 2 && Ustrncmp(ss + len - 2, "*@", 2) == 0)
 174   {
 175   *starflags |= SEARCH_STARAT;
 176   len -= 2;
 177   }
 178 else if (len >= 1 && ss[len-1]  == '*')
 179   {
 180   *starflags |= SEARCH_STAR;
 181   len--;
 182   }
 183
 184 /* Check for the individual search type. Only those that are actually in the
 185 binary are valid. For query-style types, "partial" and default types are
 186 erroneous. */
 187
 188 stype = search_findtype(ss, len);
 189 if (stype >= 0 && mac_islookup(stype, lookup_querystyle))
 190   {
 191   if (pv >= 0)
 192     {
 193     search_error_message = string_sprintf("\"partial\" is not permitted "
 194       "for lookup type \"%s\"", ss);
 195     return -1;
 196     }
 197   if ((*starflags & (SEARCH_STAR|SEARCH_STARAT)) != 0)
 198     {
 199     search_error_message = string_sprintf("defaults using \"*\" or \"*@\" are "
 200       "not permitted for lookup type \"%s\"", ss);
 201     return -1;
 202     }
 203   }
 204
 205 *ptypeptr = pv;
 206 return stype;
 207 }
 208
 209
 210
 211 /*************************************************
 212 *               Release cached resources         *
 213 *************************************************/
 214
 215 /* When search_open is called it caches the "file" that it opens in
 216 search_tree. The name of the tree node is a concatenation of the search type
 217 with the file name. For query-style lookups, the file name is empty. Real files
 218 are normally closed only when this tidyup routine is called, typically at the
 219 end of sections of code where a number of lookups might occur. However, if too
 220 many files are open simultaneously, some get closed beforehand. They can't be
 221 removed from the tree. There is also a general tidyup function which is called
 222 for the lookup driver, if it exists.
 223
 224 First, there is an internal, recursive subroutine.
 225
 226 Argument:    a pointer to a search_openfile tree node
 227 Returns:     nothing
 228 */
 229
 230 static void
 231 tidyup_subtree(tree_node *t)
 232 {
 233 search_cache *c = (search_cache *)(t->data.ptr);
 234 if (t->left != NULL) tidyup_subtree(t->left);
 235 if (t->right != NULL) tidyup_subtree(t->right);
 236 if (c != NULL &&
 237     c->handle != NULL &&
 238     lookup_list[c->search_type]->close != NULL)
 239   lookup_list[c->search_type]->close(c->handle);
 240 }
 241
 242
 243 /* The external entry point
 244
 245 Argument: none
 246 Returns:  nothing
 247 */
 248
 249 void
 250 search_tidyup(void)
 251 {
 252 int old_pool = store_pool;
 253
 254 DEBUG(D_lookup) debug_printf_indent("search_tidyup called\n");
 255
 256 /* Close individually each cached open file. */
 257
 258 store_pool = POOL_SEARCH;
 259 if (search_tree)
 260   {
 261   tidyup_subtree(search_tree);
 262   search_tree = NULL;
 263   }
 264 open_top = open_bot = NULL;
 265 open_filecount = 0;
 266
 267 /* Call the general tidyup entry for any drivers that have one. */
 268
 269 for (int i = 0; i < lookup_list_count; i++) if (lookup_list[i]->tidy)
 270   (lookup_list[i]->tidy)();
 271
 272 if (search_reset_point) search_reset_point = store_reset(search_reset_point);
 273 store_pool = old_pool;
 274 }
 275
 276
 277
 278
 279 /*************************************************
 280 *             Open search database               *
 281 *************************************************/
 282
 283 /* A mode, and lists of owners and groups, are passed over for checking in
 284 the cases where the database is one or more files. Return NULL, with a message
 285 pointed to by message, in cases of error.
 286
 287 For search types that use a file or files, check up on the mode after
 288 opening. It is tempting to do a stat before opening the file, and use it as
 289 an existence check. However, doing that opens a small security loophole in
 290 that the status could be changed before the file is opened. Can't quite see
 291 what problems this might lead to, but you can't be too careful where security
 292 is concerned. Fstat() on an open file can normally be expected to succeed,
 293 but there are some NFS states where it does not.
 294
 295 There are two styles of query: (1) in the "single-key+file" style, a single
 296 key string and a file name are given, for example, for linear searches, DBM
 297 files, or for NIS. (2) In the "query" style, no "filename" is given; instead
 298 just a single query string is passed. This applies to multiple-key lookup
 299 types such as NIS+.
 300
 301 Before opening, scan the tree of cached files to see if this file is already
 302 open for the correct search type. If so, return the saved handle. If not, put
 303 the handle in the tree for possible subsequent use. See search_tidyup above for
 304 closing all the cached files.
 305
 306 A count of open databases which use real files is maintained, and if this
 307 gets too large, we have to close a cached file. Its entry remains in the tree,
 308 but is marked closed.
 309
 310 Arguments:
 311   filename       the name of the file for single-key+file style lookups,
 312                  NULL for query-style lookups
 313   search_type    the type of search required
 314   modemask       if a real single file is used, this specifies mode bits that
 315                  must not be set; otherwise it is ignored
 316   owners         if a real single file is used, this specifies the possible
 317                  owners of the file; otherwise it is ignored
 318   owngroups      if a real single file is used, this specifies the possible
 319                  group owners of the file; otherwise it is ignored
 320
 321 Returns:         an identifying handle for the open database;
 322                  this is the pointer to the tree block in the
 323                  cache of open files; return NULL on open failure, with
 324                  a message in search_error_message
 325 */
 326
 327 void *
 328 search_open(uschar *filename, int search_type, int modemask, uid_t *owners,
 329   gid_t *owngroups)
 330 {
 331 void *handle;
 332 tree_node *t;
 333 search_cache *c;
 334 lookup_info *lk = lookup_list[search_type];
 335 uschar keybuffer[256];
 336 int old_pool = store_pool;
 337
 338 /* Change to the search store pool and remember our reset point */
 339
 340 store_pool = POOL_SEARCH;
 341 if (!search_reset_point) search_reset_point = store_mark();
 342
 343 DEBUG(D_lookup) debug_printf_indent("search_open: %s \"%s\"\n", lk->name,
 344   filename ? filename : US"NULL");
 345
 346 /* See if we already have this open for this type of search, and if so,
 347 pass back the tree block as the handle. The key for the tree node is the search
 348 type plus '0' concatenated with the file name. There may be entries in the tree
 349 with closed files if a lot of files have been opened. */
 350
 351 sprintf(CS keybuffer, "%c%.254s", search_type + '0',
 352   filename ? filename : US"");
 353
 354 if ((t = tree_search(search_tree, keybuffer)))
 355   {
 356   c = (search_cache *)(t->data.ptr);
 357   if (c->handle)
 358     {
 359     DEBUG(D_lookup) debug_printf_indent("  cached open\n");
 360     store_pool = old_pool;
 361     return t;
 362     }
 363   DEBUG(D_lookup) debug_printf_indent("  cached closed\n");
 364   }
 365
 366 /* Otherwise, we need to open the file or database - each search type has its
 367 own code, which is now split off into separately compiled modules. Before doing
 368 this, if the search type is one that uses real files, check on the number that
 369 we are holding open in the cache. If the limit is reached, close the least
 370 recently used one. */
 371
 372 if (lk->type == lookup_absfile && open_filecount >= lookup_open_max)
 373   {
 374   if (!open_bot)
 375     log_write(0, LOG_MAIN|LOG_PANIC, "too many lookups open, but can't find "
 376       "one to close");
 377   else
 378     {
 379     search_cache *c = (search_cache *)(open_bot->data.ptr);
 380     DEBUG(D_lookup) debug_printf_indent("Too many lookup files open\n  closing %s\n",
 381       open_bot->name);
 382     if ((open_bot = c->up))
 383       ((search_cache *)(open_bot->data.ptr))->down = NULL;
 384     else
 385       open_top = NULL;
 386     ((lookup_list[c->search_type])->close)(c->handle);
 387     c->handle = NULL;
 388     open_filecount--;
 389     }
 390   }
 391
 392 /* If opening is successful, call the file-checking function if there is one,
 393 and if all is still well, enter the open database into the tree. */
 394
 395 if (!(handle = (lk->open)(filename, &search_error_message)))
 396   {
 397   store_pool = old_pool;
 398   return NULL;
 399   }
 400
 401 if (  lk->check
 402    && !lk->check(handle, filename, modemask, owners, owngroups,
 403          &search_error_message))
 404   {
 405   lk->close(handle);
 406   store_pool = old_pool;
 407   return NULL;
 408   }
 409
 410 /* If this is a search type that uses real files, keep count. */
 411
 412 if (lk->type == lookup_absfile) open_filecount++;
 413
 414 /* If we found a previously opened entry in the tree, re-use it; otherwise
 415 insert a new entry. On re-use, leave any cached lookup data and the lookup
 416 count alone. */
 417
 418 if (!t)
 419   {
 420   t = store_get(sizeof(tree_node) + Ustrlen(keybuffer), FALSE);
 421   t->data.ptr = c = store_get(sizeof(search_cache), FALSE);
 422   c->item_cache = NULL;
 423   Ustrcpy(t->name, keybuffer);
 424   tree_insertnode(&search_tree, t);
 425   }
 426 else c = t->data.ptr;
 427
 428 c->handle = handle;
 429 c->search_type = search_type;
 430 c->up = c->down = NULL;
 431
 432 store_pool = old_pool;
 433 return t;
 434 }
 435
 436
 437
 438
 439
 440 /*************************************************
 441 *  Internal function: Find one item in database  *
 442 *************************************************/
 443
 444 /* The answer is always put into dynamic store. The last lookup for each handle
 445 is cached.
 446
 447 Arguments:
 448   handle       the handle from search_open; points to tree node
 449   filename     the filename that was handed to search_open, or
 450                NULL for query-style searches
 451   keystring    the keystring for single-key+file lookups, or
 452                the querystring for query-style lookups
 453
 454 Returns:       a pointer to a dynamic string containing the answer,
 455                or NULL if the query failed or was deferred; in the
 456                latter case, search_find_defer is set TRUE; after an unusual
 457                failure, there may be a message in search_error_message.
 458 */
 459
 460 static uschar *
 461 internal_search_find(void *handle, uschar *filename, uschar *keystring)
 462 {
 463 tree_node * t = (tree_node *)handle;
 464 search_cache * c = (search_cache *)(t->data.ptr);
 465 expiring_data * e = NULL;       /* compiler quietening */
 466 uschar * data = NULL;
 467 int search_type = t->name[0] - '0';
 468 int old_pool = store_pool;
 469
 470 /* Lookups that return DEFER may not always set an error message. So that
 471 the callers don't have to test for NULL, set an empty string. */
 472
 473 search_error_message = US"";
 474 f.search_find_defer = FALSE;
 475
 476 DEBUG(D_lookup) debug_printf_indent("internal_search_find: file=\"%s\"\n  "
 477   "type=%s key=\"%s\"\n", filename,
 478   lookup_list[search_type]->name, keystring);
 479
 480 /* Insurance. If the keystring is empty, just fail. */
 481
 482 if (keystring[0] == 0) return NULL;
 483
 484 /* Use the special store pool for search data */
 485
 486 store_pool = POOL_SEARCH;
 487
 488 /* Look up the data for the key, unless it is already in the cache for this
 489 file. No need to check c->item_cache for NULL, tree_search will do so. */
 490
 491 if (  (t = tree_search(c->item_cache, keystring))
 492    && (!(e = t->data.ptr)->expiry || e->expiry > time(NULL))
 493    )
 494   { /* Data was in the cache already; set the pointer from the tree node */
 495   data = e->data.ptr;
 496   DEBUG(D_lookup) debug_printf_indent("cached data used for lookup of %s%s%s\n",
 497     keystring,
 498     filename ? US"\n  in " : US"", filename ? filename : US"");
 499   }
 500 else
 501   {
 502   uint do_cache = UINT_MAX;
 503   int keylength = Ustrlen(keystring);
 504
 505   DEBUG(D_lookup)
 506     {
 507     if (t) debug_printf_indent("cached data found but past valid time; ");
 508     debug_printf_indent("%s lookup required for %s%s%s\n",
 509       filename ? US"file" : US"database",
 510       keystring,
 511       filename ? US"\n  in " : US"", filename ? filename : US"");
 512     }
 513
 514   /* Call the code for the different kinds of search. DEFER is handled
 515   like FAIL, except that search_find_defer is set so the caller can
 516   distinguish if necessary. */
 517
 518   if (lookup_list[search_type]->find(c->handle, filename, keystring, keylength,
 519       &data, &search_error_message, &do_cache) == DEFER)
 520     f.search_find_defer = TRUE;
 521
 522   /* A record that has been found is now in data, which is either NULL
 523   or points to a bit of dynamic store. Cache the result of the lookup if
 524   caching is permitted. Lookups can disable caching, when they did something
 525   that changes their data. The mysql and pgsql lookups do this when an
 526   UPDATE/INSERT query was executed. */
 527
 528   else if (do_cache)
 529     {
 530     int len = keylength + 1;
 531
 532     if (t)      /* Previous, out-of-date cache entry.  Update with the */
 533       {         /* new result and forget the old one */
 534       e->expiry = do_cache == UINT_MAX ? 0 : time(NULL)+do_cache;
 535       e->data.ptr = data;
 536       }
 537     else
 538       {
 539       e = store_get(sizeof(expiring_data) + sizeof(tree_node) + len, is_tainted(keystring));
 540       e->expiry = do_cache == UINT_MAX ? 0 : time(NULL)+do_cache;
 541       e->data.ptr = data;
 542       t = (tree_node *)(e+1);
 543       memcpy(t->name, keystring, len);
 544       t->data.ptr = e;
 545       tree_insertnode(&c->item_cache, t);
 546       }
 547     }
 548
 549   /* If caching was disabled, empty the cache tree. We just set the cache
 550   pointer to NULL here, because we cannot release the store at this stage. */
 551
 552   else
 553     {
 554     DEBUG(D_lookup) debug_printf_indent("lookup forced cache cleanup\n");
 555     c->item_cache = NULL;
 556     }
 557   }
 558
 559 DEBUG(D_lookup)
 560   {
 561   if (data)
 562     debug_printf_indent("lookup yielded: %s\n", data);
 563   else if (f.search_find_defer)
 564     debug_printf_indent("lookup deferred: %s\n", search_error_message);
 565   else debug_printf_indent("lookup failed\n");
 566   }
 567
 568 /* Return it in new dynamic store in the regular pool */
 569
 570 store_pool = old_pool;
 571 return data ? string_copy(data) : NULL;
 572 }
 573
 574
 575
 576
 577 /*************************************************
 578 * Find one item in database, possibly wildcarded *
 579 *************************************************/
 580
 581 /* This function calls the internal function above; once only if there
 582 is no partial matching, but repeatedly when partial matching is requested.
 583
 584 Arguments:
 585   handle         the handle from search_open
 586   filename       the filename that was handed to search_open, or
 587                    NULL for query-style searches
 588   keystring      the keystring for single-key+file lookups, or
 589                    the querystring for query-style lookups
 590   partial        -1 means no partial matching;
 591                    otherwise it's the minimum number of components;
 592   affix          the affix string for partial matching
 593   affixlen       the length of the affix string
 594   starflags      SEARCH_STAR and SEARCH_STARAT flags
 595   expand_setup   pointer to offset for setting up expansion strings;
 596                  don't do any if < 0
 597
 598 Returns:         a pointer to a dynamic string containing the answer,
 599                  or NULL if the query failed or was deferred; in the
 600                  latter case, search_find_defer is set TRUE
 601 */
 602
 603 uschar *
 604 search_find(void *handle, uschar *filename, uschar *keystring, int partial,
 605   const uschar *affix, int affixlen, int starflags, int *expand_setup)
 606 {
 607 tree_node *t = (tree_node *)handle;
 608 BOOL set_null_wild = FALSE;
 609 uschar *yield;
 610
 611 DEBUG(D_lookup)
 612   {
 613   if (partial < 0) affixlen = 99;   /* So that "NULL" prints */
 614   debug_printf_indent("search_find: file=\"%s\"\n  key=\"%s\" "
 615     "partial=%d affix=%.*s starflags=%x\n",
 616     (filename == NULL)? US"NULL" : filename,
 617     keystring, partial, affixlen, affix, starflags);
 618   }
 619
 620 /* Arrange to put this database at the top of the LRU chain if it is a type
 621 that opens real files. */
 622
 623 if (  open_top != (tree_node *)handle
 624    && lookup_list[t->name[0]-'0']->type == lookup_absfile)
 625   {
 626   search_cache *c = (search_cache *)(t->data.ptr);
 627   tree_node *up = c->up;
 628   tree_node *down = c->down;
 629
 630   /* Cut it out of the list. A newly opened file will a NULL up pointer.
 631   Otherwise there will be a non-NULL up pointer, since we checked above that
 632   this block isn't already at the top of the list. */
 633
 634   if (up)
 635     {
 636     ((search_cache *)(up->data.ptr))->down = down;
 637     if (down)
 638       ((search_cache *)(down->data.ptr))->up = up;
 639     else
 640       open_bot = up;
 641     }
 642
 643   /* Now put it at the head of the list. */
 644
 645   c->up = NULL;
 646   c->down = open_top;
 647   if (!open_top) open_bot = t;
 648   else ((search_cache *)(open_top->data.ptr))->up = t;
 649   open_top = t;
 650   }
 651
 652 DEBUG(D_lookup)
 653   {
 654   debug_printf_indent("LRU list:\n");
 655   for (tree_node *t = open_top; t; )
 656     {
 657     search_cache *c = (search_cache *)(t->data.ptr);
 658     debug_printf_indent("  %s\n", t->name);
 659     if (t == open_bot) debug_printf_indent("  End\n");
 660     t = c->down;
 661     }
 662   }
 663
 664 /* First of all, try to match the key string verbatim. If matched a complete
 665 entry but could have been partial, flag to set up variables. */
 666
 667 yield = internal_search_find(handle, filename, keystring);
 668 if (f.search_find_defer) return NULL;
 669
 670 if (yield) { if (partial >= 0) set_null_wild = TRUE; }
 671
 672 /* Not matched a complete entry; handle partial lookups, but only if the full
 673 search didn't defer. Don't use string_sprintf() to construct the initial key,
 674 just in case the original key is too long for the string_sprintf() buffer (it
 675 *has* happened!). The case of a zero-length affix has to be treated specially.
 676 */
 677
 678 else if (partial >= 0)
 679   {
 680   int len = Ustrlen(keystring);
 681   uschar *keystring2;
 682
 683   /* Try with the affix on the front, except for a zero-length affix */
 684
 685   if (affixlen == 0) keystring2 = keystring; else
 686     {
 687     keystring2 = store_get(len + affixlen + 1,
 688                         is_tainted(keystring) || is_tainted(affix));
 689     Ustrncpy(keystring2, affix, affixlen);
 690     Ustrcpy(keystring2 + affixlen, keystring);
 691     DEBUG(D_lookup) debug_printf_indent("trying partial match %s\n", keystring2);
 692     yield = internal_search_find(handle, filename, keystring2);
 693     if (f.search_find_defer) return NULL;
 694     }
 695
 696   /* The key in its entirety did not match a wild entry; try chopping off
 697   leading components. */
 698
 699   if (yield == NULL)
 700     {
 701     int dotcount = 0;
 702     uschar *keystring3 = keystring2 + affixlen;
 703     uschar *s = keystring3;
 704     while (*s != 0) if (*s++ == '.') dotcount++;
 705
 706     while (dotcount-- >= partial)
 707       {
 708       while (*keystring3 != 0 && *keystring3 != '.') keystring3++;
 709
 710       /* If we get right to the end of the string (which will be the last time
 711       through this loop), we've failed if the affix is null. Otherwise do one
 712       last lookup for the affix itself, but if it is longer than 1 character,
 713       remove the last character if it is ".". */
 714
 715       if (*keystring3 == 0)
 716         {
 717         if (affixlen < 1) break;
 718         if (affixlen > 1 && affix[affixlen-1] == '.') affixlen--;
 719         Ustrncpy(keystring2, affix, affixlen);
 720         keystring2[affixlen] = 0;
 721         keystring3 = keystring2;
 722         }
 723       else
 724         {
 725         keystring3 -= affixlen - 1;
 726         if (affixlen > 0) Ustrncpy(keystring3, affix, affixlen);
 727         }
 728
 729       DEBUG(D_lookup) debug_printf_indent("trying partial match %s\n", keystring3);
 730       yield = internal_search_find(handle, filename, keystring3);
 731       if (f.search_find_defer) return NULL;
 732       if (yield)
 733         {
 734         /* First variable is the wild part; second is the fixed part. Take care
 735         to get it right when keystring3 is just "*". */
 736
 737         if (expand_setup && *expand_setup >= 0)
 738           {
 739           int fixedlength = Ustrlen(keystring3) - affixlen;
 740           int wildlength = Ustrlen(keystring) - fixedlength - 1;
 741           *expand_setup += 1;
 742           expand_nstring[*expand_setup] = keystring;
 743           expand_nlength[*expand_setup] = wildlength;
 744           *expand_setup += 1;
 745           expand_nstring[*expand_setup] = keystring + wildlength + 1;
 746           expand_nlength[*expand_setup] = (fixedlength < 0)? 0 : fixedlength;
 747           }
 748         break;
 749         }
 750       keystring3 += affixlen;
 751       }
 752     }
 753
 754   else set_null_wild = TRUE; /* Matched a wild entry without any wild part */
 755   }
 756
 757 /* If nothing has been matched, but the option to look for "*@" is set, try
 758 replacing everything to the left of @ by *. After a match, the wild part
 759 is set to the string to the left of the @. */
 760
 761 if (!yield  &&  starflags & SEARCH_STARAT)
 762   {
 763   uschar *atat = Ustrrchr(keystring, '@');
 764   if (atat != NULL && atat > keystring)
 765     {
 766     int savechar;
 767     savechar = *(--atat);
 768     *atat = '*';
 769
 770     DEBUG(D_lookup) debug_printf_indent("trying default match %s\n", atat);
 771     yield = internal_search_find(handle, filename, atat);
 772     *atat = savechar;
 773     if (f.search_find_defer) return NULL;
 774
 775     if (yield && expand_setup && *expand_setup >= 0)
 776       {
 777       *expand_setup += 1;
 778       expand_nstring[*expand_setup] = keystring;
 779       expand_nlength[*expand_setup] = atat - keystring + 1;
 780       *expand_setup += 1;
 781       expand_nstring[*expand_setup] = keystring;
 782       expand_nlength[*expand_setup] = 0;
 783       }
 784     }
 785   }
 786
 787 /* If we still haven't matched anything, and the option to look for "*" is set,
 788 try that. If we do match, the first variable (the wild part) is the whole key,
 789 and the second is empty. */
 790
 791 if (!yield  &&  starflags & (SEARCH_STAR|SEARCH_STARAT))
 792   {
 793   DEBUG(D_lookup) debug_printf_indent("trying to match *\n");
 794   yield = internal_search_find(handle, filename, US"*");
 795   if (yield && expand_setup && *expand_setup >= 0)
 796     {
 797     *expand_setup += 1;
 798     expand_nstring[*expand_setup] = keystring;
 799     expand_nlength[*expand_setup] = Ustrlen(keystring);
 800     *expand_setup += 1;
 801     expand_nstring[*expand_setup] = keystring;
 802     expand_nlength[*expand_setup] = 0;
 803     }
 804   }
 805
 806 /* If this was a potentially partial lookup, and we matched either a
 807 complete non-wild domain entry, or we matched a wild-carded entry without
 808 chopping off any of the domain components, set up the expansion variables
 809 (if required) so that the first one is empty, and the second one is the
 810 fixed part of the domain. The set_null_wild flag is set only when yield is not
 811 NULL. */
 812
 813 if (set_null_wild && expand_setup && *expand_setup >= 0)
 814   {
 815   *expand_setup += 1;
 816   expand_nstring[*expand_setup] = keystring;
 817   expand_nlength[*expand_setup] = 0;
 818   *expand_setup += 1;
 819   expand_nstring[*expand_setup] = keystring;
 820   expand_nlength[*expand_setup] = Ustrlen(keystring);
 821   }
 822
 823 return yield;
 824 }
 825
 826 /* End of search.c */