src/src/search.c

   1 /*************************************************
   2 *     Exim - an Internet mail transport agent    *
   3 *************************************************/
   4
   5 /* Copyright (c) University of Cambridge 1995 - 2015 */
   6 /* See the file NOTICE for conditions of use and distribution. */
   7
   8 /* A set of functions to search databases in various formats. An open
   9 database is represented by a void * value which is returned from a lookup-
  10 specific "open" function. These are now all held in individual modules in the
  11 lookups subdirectory and the functions here form a generic interface.
  12
  13 Caching is used to improve performance. Open files are cached until a tidyup
  14 function is called, and for each file the result of the last lookup is cached.
  15 However, if too many files are opened, some of those that are not in use have
  16 to be closed. Those open items that use real files are kept on a LRU chain to
  17 help with this.
  18
  19 All the data is held in permanent store so as to be independent of the stacking
  20 pool that is reset from time to time. In fact, we use malloc'd store so that it
  21 can be freed when the caches are tidied up. It isn't actually clear whether
  22 this is a benefit or not, to be honest. */
  23
  24 #include "exim.h"
  25
  26
  27 /* Tree in which to cache open files until tidyup called. */
  28
  29 static tree_node *search_tree = NULL;
  30
  31 /* Two-way chain of open databases that use real files. This is maintained in
  32 recently-used order for the purposes of closing the least recently used when
  33 too many files are open. */
  34
  35 static tree_node *open_top = NULL;
  36 static tree_node *open_bot = NULL;
  37
  38 /* Count of open databases that use real files */
  39
  40 static int open_filecount = 0;
  41
  42 /* Allow us to reset store used for lookups and lookup caching */
  43
  44 static rmark search_reset_point = NULL;
  45
  46
  47
  48 /*************************************************
  49 *      Validate a plain lookup type name         *
  50 *************************************************/
  51
  52 /* Only those names that are recognized and whose code is included in the
  53 binary give an OK response. Use a binary chop search now that the list has got
  54 so long.
  55
  56 Arguments:
  57   name       lookup type name - not necessarily zero terminated (e.g. dbm*)
  58   len        length of the name
  59
  60 Returns:     +ve => valid lookup name; value is offset in lookup_list
  61              -ve => invalid name; message in search_error_message.
  62 */
  63
  64 int
  65 search_findtype(const uschar *name, int len)
  66 {
  67 int bot = 0;
  68 int top = lookup_list_count;
  69 while (top > bot)
  70   {
  71   int mid = (top + bot)/2;
  72   int c = Ustrncmp(name, lookup_list[mid]->name, len);
  73
  74   /* If c == 0 we have matched the incoming name with the start of the search
  75   type name. However, some search types are substrings of others (e.g. nis and
  76   nisplus) so we need to check that the lengths are the same. The length of the
  77   type name cannot be shorter (else c would not be 0); if it is not equal it
  78   must be longer, and in that case, the incoming name comes before the name we
  79   are testing. By leaving c == 0 when the lengths are different, and doing a
  80   > 0 test below, this all falls out correctly. */
  81
  82   if (c == 0 && Ustrlen(lookup_list[mid]->name) == len)
  83     {
  84     if (lookup_list[mid]->find != NULL) return mid;
  85     search_error_message  = string_sprintf("lookup type \"%.*s\" is not "
  86       "available (not in the binary - check buildtime LOOKUP configuration)",
  87       len, name);
  88     return -1;
  89     }
  90
  91   if (c > 0) bot = mid + 1; else top = mid;
  92   }
  93
  94 search_error_message = string_sprintf("unknown lookup type \"%.*s\"",len,name);
  95 return -1;
  96 }
  97
  98
  99
 100 /*************************************************
 101 *       Validate a full lookup type name         *
 102 *************************************************/
 103
 104 /* This function recognizes the "partial-" prefix and also terminating * and *@
 105 suffixes.
 106
 107 Arguments:
 108   name         the full lookup type name
 109   ptypeptr     where to put the partial type
 110                  after subtraction of 1024 or 2048:
 111                    negative     => no partial matching
 112                    non-negative => minimum number of non-wild components
 113   ptypeaff     where to put a pointer to the affix
 114                  the affix is within name if supplied therein
 115                  otherwise it's a literal string
 116   afflen       the length of the affix
 117   starflags    where to put the SEARCH_STAR and SEARCH_STARAT flags
 118   opts         where to put the options
 119
 120 Returns:     +ve => valid lookup name; value is offset in lookup_list
 121              -ve => invalid name; message in search_error_message.
 122 */
 123
 124 int
 125 search_findtype_partial(const uschar *name, int *ptypeptr, const uschar **ptypeaff,
 126   int *afflen, int *starflags, const uschar ** opts)
 127 {
 128 int len, stype;
 129 int pv = -1;
 130 const uschar *ss = name;
 131 const uschar * t;
 132
 133 *starflags = 0;
 134 *ptypeaff = NULL;
 135
 136 /* Check for a partial matching type. It must start with "partial", optionally
 137 followed by a sequence of digits. If this is followed by "-", the affix is the
 138 default "*." string. Otherwise we expect an affix in parentheses. Affixes are a
 139 limited number of characters, not including parens. */
 140
 141 if (Ustrncmp(name, "partial", 7) == 0)
 142   {
 143   ss += 7;
 144   if (isdigit (*ss))
 145     {
 146     pv = 0;
 147     while (isdigit(*ss)) pv = pv*10 + *ss++ - '0';
 148     }
 149   else pv = 2;         /* Default number of wild components */
 150
 151   if (*ss == '(')
 152     {
 153     *ptypeaff = ++ss;
 154     while (ispunct(*ss) && *ss != ')') ss++;
 155     if (*ss != ')') goto BAD_TYPE;
 156     *afflen = ss++ - *ptypeaff;
 157     }
 158   else if (*ss++ == '-')
 159     {
 160     *ptypeaff = US "*.";
 161     *afflen = 2;
 162     }
 163   else
 164     {
 165     BAD_TYPE:
 166     search_error_message = string_sprintf("format error in lookup type \"%s\"",
 167       name);
 168     return -1;
 169     }
 170   }
 171
 172 /* Now we are left with a lookup name, possibly followed by * or *@,
 173 and then by options starting with a "," */
 174
 175 len = Ustrlen(ss);
 176 if ((t = Ustrchr(ss, '*')))
 177   {
 178   len = t - ss;
 179   *starflags |= (t[1] == '@' ? SEARCH_STARAT : SEARCH_STAR);
 180   }
 181 else
 182   t = ss;
 183
 184 if ((t = Ustrchr(t, ',')))
 185   {
 186   int l = t - ss;
 187   if (l < len) len = l;
 188   *opts = string_copy(t+1);
 189   }
 190 else
 191   * opts = NULL;
 192
 193 /* Check for the individual search type. Only those that are actually in the
 194 binary are valid. For query-style types, "partial" and default types are
 195 erroneous. */
 196
 197 stype = search_findtype(ss, len);
 198 if (stype >= 0 && mac_islookup(stype, lookup_querystyle))
 199   {
 200   if (pv >= 0)
 201     {
 202     search_error_message = string_sprintf("\"partial\" is not permitted "
 203       "for lookup type \"%s\"", ss);
 204     return -1;
 205     }
 206   if ((*starflags & (SEARCH_STAR|SEARCH_STARAT)) != 0)
 207     {
 208     search_error_message = string_sprintf("defaults using \"*\" or \"*@\" are "
 209       "not permitted for lookup type \"%s\"", ss);
 210     return -1;
 211     }
 212   }
 213
 214 *ptypeptr = pv;
 215 return stype;
 216 }
 217
 218
 219
 220 /*************************************************
 221 *               Release cached resources         *
 222 *************************************************/
 223
 224 /* When search_open is called it caches the "file" that it opens in
 225 search_tree. The name of the tree node is a concatenation of the search type
 226 with the file name. For query-style lookups, the file name is empty. Real files
 227 are normally closed only when this tidyup routine is called, typically at the
 228 end of sections of code where a number of lookups might occur. However, if too
 229 many files are open simultaneously, some get closed beforehand. They can't be
 230 removed from the tree. There is also a general tidyup function which is called
 231 for the lookup driver, if it exists.
 232
 233 First, there is an internal, recursive subroutine.
 234
 235 Argument:    a pointer to a search_openfile tree node
 236 Returns:     nothing
 237 */
 238
 239 static void
 240 tidyup_subtree(tree_node *t)
 241 {
 242 search_cache * c = (search_cache *)(t->data.ptr);
 243 if (t->left)  tidyup_subtree(t->left);
 244 if (t->right) tidyup_subtree(t->right);
 245 if (c && c->handle && lookup_list[c->search_type]->close)
 246   lookup_list[c->search_type]->close(c->handle);
 247 }
 248
 249
 250 /* The external entry point
 251
 252 Argument: none
 253 Returns:  nothing
 254 */
 255
 256 void
 257 search_tidyup(void)
 258 {
 259 int old_pool = store_pool;
 260
 261 DEBUG(D_lookup) debug_printf_indent("search_tidyup called\n");
 262
 263 /* Close individually each cached open file. */
 264
 265 store_pool = POOL_SEARCH;
 266 if (search_tree)
 267   {
 268   tidyup_subtree(search_tree);
 269   search_tree = NULL;
 270   }
 271 open_top = open_bot = NULL;
 272 open_filecount = 0;
 273
 274 /* Call the general tidyup entry for any drivers that have one. */
 275
 276 for (int i = 0; i < lookup_list_count; i++) if (lookup_list[i]->tidy)
 277   (lookup_list[i]->tidy)();
 278
 279 if (search_reset_point) search_reset_point = store_reset(search_reset_point);
 280 store_pool = old_pool;
 281 }
 282
 283
 284
 285
 286 /*************************************************
 287 *             Open search database               *
 288 *************************************************/
 289
 290 /* A mode, and lists of owners and groups, are passed over for checking in
 291 the cases where the database is one or more files. Return NULL, with a message
 292 pointed to by message, in cases of error.
 293
 294 For search types that use a file or files, check up on the mode after
 295 opening. It is tempting to do a stat before opening the file, and use it as
 296 an existence check. However, doing that opens a small security loophole in
 297 that the status could be changed before the file is opened. Can't quite see
 298 what problems this might lead to, but you can't be too careful where security
 299 is concerned. Fstat() on an open file can normally be expected to succeed,
 300 but there are some NFS states where it does not.
 301
 302 There are two styles of query: (1) in the "single-key+file" style, a single
 303 key string and a file name are given, for example, for linear searches, DBM
 304 files, or for NIS. (2) In the "query" style, no "filename" is given; instead
 305 just a single query string is passed. This applies to multiple-key lookup
 306 types such as NIS+.
 307
 308 Before opening, scan the tree of cached files to see if this file is already
 309 open for the correct search type. If so, return the saved handle. If not, put
 310 the handle in the tree for possible subsequent use. See search_tidyup above for
 311 closing all the cached files.
 312
 313 A count of open databases which use real files is maintained, and if this
 314 gets too large, we have to close a cached file. Its entry remains in the tree,
 315 but is marked closed.
 316
 317 Arguments:
 318   filename       the name of the file for single-key+file style lookups,
 319                  NULL for query-style lookups
 320   search_type    the type of search required
 321   modemask       if a real single file is used, this specifies mode bits that
 322                  must not be set; otherwise it is ignored
 323   owners         if a real single file is used, this specifies the possible
 324                  owners of the file; otherwise it is ignored
 325   owngroups      if a real single file is used, this specifies the possible
 326                  group owners of the file; otherwise it is ignored
 327
 328 Returns:         an identifying handle for the open database;
 329                  this is the pointer to the tree block in the
 330                  cache of open files; return NULL on open failure, with
 331                  a message in search_error_message
 332 */
 333
 334 void *
 335 search_open(const uschar * filename, int search_type, int modemask,
 336   uid_t * owners, gid_t * owngroups)
 337 {
 338 void *handle;
 339 tree_node *t;
 340 search_cache *c;
 341 lookup_info *lk = lookup_list[search_type];
 342 uschar keybuffer[256];
 343 int old_pool = store_pool;
 344
 345 if (filename && is_tainted(filename))
 346   {
 347   log_write(0, LOG_MAIN|LOG_PANIC,
 348     "Tainted filename for search: '%s'", filename);
 349   return NULL;
 350   }
 351
 352 /* Change to the search store pool and remember our reset point */
 353
 354 store_pool = POOL_SEARCH;
 355 if (!search_reset_point) search_reset_point = store_mark();
 356
 357 DEBUG(D_lookup) debug_printf_indent("search_open: %s \"%s\"\n", lk->name,
 358   filename ? filename : US"NULL");
 359
 360 /* See if we already have this open for this type of search, and if so,
 361 pass back the tree block as the handle. The key for the tree node is the search
 362 type plus '0' concatenated with the file name. There may be entries in the tree
 363 with closed files if a lot of files have been opened. */
 364
 365 sprintf(CS keybuffer, "%c%.254s", search_type + '0',
 366   filename ? filename : US"");
 367
 368 if ((t = tree_search(search_tree, keybuffer)))
 369   {
 370   if ((c = (search_cache *)t->data.ptr)->handle)
 371     {
 372     DEBUG(D_lookup) debug_printf_indent("  cached open\n");
 373     store_pool = old_pool;
 374     return t;
 375     }
 376   DEBUG(D_lookup) debug_printf_indent("  cached closed\n");
 377   }
 378
 379 /* Otherwise, we need to open the file or database - each search type has its
 380 own code, which is now split off into separately compiled modules. Before doing
 381 this, if the search type is one that uses real files, check on the number that
 382 we are holding open in the cache. If the limit is reached, close the least
 383 recently used one. */
 384
 385 if (lk->type == lookup_absfile && open_filecount >= lookup_open_max)
 386   if (!open_bot)
 387     log_write(0, LOG_MAIN|LOG_PANIC, "too many lookups open, but can't find "
 388       "one to close");
 389   else
 390     {
 391     search_cache *c = (search_cache *)(open_bot->data.ptr);
 392     DEBUG(D_lookup) debug_printf_indent("Too many lookup files open\n  closing %s\n",
 393       open_bot->name);
 394     if ((open_bot = c->up))
 395       ((search_cache *)(open_bot->data.ptr))->down = NULL;
 396     else
 397       open_top = NULL;
 398     ((lookup_list[c->search_type])->close)(c->handle);
 399     c->handle = NULL;
 400     open_filecount--;
 401     }
 402
 403 /* If opening is successful, call the file-checking function if there is one,
 404 and if all is still well, enter the open database into the tree. */
 405
 406 if (!(handle = (lk->open)(filename, &search_error_message)))
 407   {
 408   store_pool = old_pool;
 409   return NULL;
 410   }
 411
 412 if (  lk->check
 413    && !lk->check(handle, filename, modemask, owners, owngroups,
 414          &search_error_message))
 415   {
 416   lk->close(handle);
 417   store_pool = old_pool;
 418   return NULL;
 419   }
 420
 421 /* If this is a search type that uses real files, keep count. */
 422
 423 if (lk->type == lookup_absfile) open_filecount++;
 424
 425 /* If we found a previously opened entry in the tree, re-use it; otherwise
 426 insert a new entry. On re-use, leave any cached lookup data and the lookup
 427 count alone. */
 428
 429 if (!t)
 430   {
 431   t = store_get(sizeof(tree_node) + Ustrlen(keybuffer), FALSE);
 432   t->data.ptr = c = store_get(sizeof(search_cache), FALSE);
 433   c->item_cache = NULL;
 434   Ustrcpy(t->name, keybuffer);
 435   tree_insertnode(&search_tree, t);
 436   }
 437 else c = t->data.ptr;
 438
 439 c->handle = handle;
 440 c->search_type = search_type;
 441 c->up = c->down = NULL;
 442
 443 store_pool = old_pool;
 444 return t;
 445 }
 446
 447
 448
 449
 450
 451 /*************************************************
 452 *  Internal function: Find one item in database  *
 453 *************************************************/
 454
 455 /* The answer is always put into dynamic store. The last lookup for each handle
 456 is cached.
 457
 458 Arguments:
 459   handle       the handle from search_open; points to tree node
 460   filename     the filename that was handed to search_open, or
 461                NULL for query-style searches
 462   keystring    the keystring for single-key+file lookups, or
 463                the querystring for query-style lookups
 464   opts         type-specific options
 465
 466 Returns:       a pointer to a dynamic string containing the answer,
 467                or NULL if the query failed or was deferred; in the
 468                latter case, search_find_defer is set TRUE; after an unusual
 469                failure, there may be a message in search_error_message.
 470 */
 471
 472 static uschar *
 473 internal_search_find(void * handle, const uschar * filename, uschar * keystring,
 474   const uschar * opts)
 475 {
 476 tree_node * t = (tree_node *)handle;
 477 search_cache * c = (search_cache *)(t->data.ptr);
 478 expiring_data * e = NULL;       /* compiler quietening */
 479 uschar * data = NULL;
 480 int search_type = t->name[0] - '0';
 481 int old_pool = store_pool;
 482
 483 /* Lookups that return DEFER may not always set an error message. So that
 484 the callers don't have to test for NULL, set an empty string. */
 485
 486 search_error_message = US"";
 487 f.search_find_defer = FALSE;
 488
 489 DEBUG(D_lookup) debug_printf_indent("internal_search_find: file=\"%s\"\n  "
 490   "type=%s key=\"%s\" opts=%s%s%s\n", filename,
 491   lookup_list[search_type]->name, keystring,
 492   opts ? "\"" : "", opts, opts ? "\"" : "");
 493
 494 /* Insurance. If the keystring is empty, just fail. */
 495
 496 if (keystring[0] == 0) return NULL;
 497
 498 /* Use the special store pool for search data */
 499
 500 store_pool = POOL_SEARCH;
 501
 502 /* Look up the data for the key, unless it is already in the cache for this
 503 file. No need to check c->item_cache for NULL, tree_search will do so. */
 504
 505 if (  (t = tree_search(c->item_cache, keystring))
 506    && (!(e = t->data.ptr)->expiry || e->expiry > time(NULL))
 507    && (!opts && !e->opts  ||  opts && e->opts && Ustrcmp(opts, e->opts) == 0)
 508    )
 509   { /* Data was in the cache already; set the pointer from the tree node */
 510   data = e->data.ptr;
 511   DEBUG(D_lookup) debug_printf_indent("cached data used for lookup of %s%s%s\n",
 512     keystring,
 513     filename ? US"\n  in " : US"", filename ? filename : US"");
 514   }
 515 else
 516   {
 517   uint do_cache = UINT_MAX;
 518   int keylength = Ustrlen(keystring);
 519
 520   DEBUG(D_lookup)
 521     {
 522     if (t)
 523       debug_printf_indent("cached data found but %s; ",
 524         e->expiry && e->expiry <= time(NULL) ? "out-of-date" : "wrong opts");
 525     debug_printf_indent("%s lookup required for %s%s%s\n",
 526       filename ? US"file" : US"database",
 527       keystring,
 528       filename ? US"\n  in " : US"", filename ? filename : US"");
 529     }
 530
 531   /* Call the code for the different kinds of search. DEFER is handled
 532   like FAIL, except that search_find_defer is set so the caller can
 533   distinguish if necessary. */
 534
 535   if (lookup_list[search_type]->find(c->handle, filename, keystring, keylength,
 536       &data, &search_error_message, &do_cache, opts) == DEFER)
 537     f.search_find_defer = TRUE;
 538
 539   /* A record that has been found is now in data, which is either NULL
 540   or points to a bit of dynamic store. Cache the result of the lookup if
 541   caching is permitted. Lookups can disable caching, when they did something
 542   that changes their data. The mysql and pgsql lookups do this when an
 543   UPDATE/INSERT query was executed. */
 544
 545   else if (do_cache)
 546     {
 547     if (!t)     /* No existing entry.  Create new one. */
 548       {
 549       int len = keylength + 1;
 550       e = store_get(sizeof(expiring_data) + sizeof(tree_node) + len, is_tainted(keystring));
 551       t = (tree_node *)(e+1);
 552       memcpy(t->name, keystring, len);
 553       t->data.ptr = e;
 554       tree_insertnode(&c->item_cache, t);
 555       }
 556       /* Else previous, out-of-date cache entry.  Update with the */
 557       /* new result and forget the old one */
 558     e->expiry = do_cache == UINT_MAX ? 0 : time(NULL)+do_cache;
 559     e->opts = opts ? string_copy(opts) : NULL;
 560     e->data.ptr = data;
 561     }
 562
 563   /* If caching was disabled, empty the cache tree. We just set the cache
 564   pointer to NULL here, because we cannot release the store at this stage. */
 565
 566   else
 567     {
 568     DEBUG(D_lookup) debug_printf_indent("lookup forced cache cleanup\n");
 569     c->item_cache = NULL;       /* forget all lookups on this connection */
 570     }
 571   }
 572
 573 DEBUG(D_lookup)
 574   {
 575   if (data)
 576     debug_printf_indent("lookup yielded: %s\n", data);
 577   else if (f.search_find_defer)
 578     debug_printf_indent("lookup deferred: %s\n", search_error_message);
 579   else debug_printf_indent("lookup failed\n");
 580   }
 581
 582 /* Return it in new dynamic store in the regular pool */
 583
 584 store_pool = old_pool;
 585 return data ? string_copy(data) : NULL;
 586 }
 587
 588
 589
 590
 591 /*************************************************
 592 * Find one item in database, possibly wildcarded *
 593 *************************************************/
 594
 595 /* This function calls the internal function above; once only if there
 596 is no partial matching, but repeatedly when partial matching is requested.
 597
 598 Arguments:
 599   handle         the handle from search_open
 600   filename       the filename that was handed to search_open, or
 601                    NULL for query-style searches
 602   keystring      the keystring for single-key+file lookups, or
 603                    the querystring for query-style lookups
 604   partial        -1 means no partial matching;
 605                    otherwise it's the minimum number of components;
 606   affix          the affix string for partial matching
 607   affixlen       the length of the affix string
 608   starflags      SEARCH_STAR and SEARCH_STARAT flags
 609   expand_setup   pointer to offset for setting up expansion strings;
 610                  don't do any if < 0
 611   opts           type-specific options
 612
 613 Returns:         a pointer to a dynamic string containing the answer,
 614                  or NULL if the query failed or was deferred; in the
 615                  latter case, search_find_defer is set TRUE
 616 */
 617
 618 uschar *
 619 search_find(void * handle, const uschar * filename, uschar * keystring,
 620   int partial, const uschar * affix, int affixlen, int starflags,
 621   int * expand_setup, const uschar * opts)
 622 {
 623 tree_node *t = (tree_node *)handle;
 624 BOOL set_null_wild = FALSE;
 625 uschar *yield;
 626
 627 DEBUG(D_lookup)
 628   {
 629   if (partial < 0) affixlen = 99;   /* So that "NULL" prints */
 630   debug_printf_indent("search_find: file=\"%s\"\n  key=\"%s\" "
 631     "partial=%d affix=%.*s starflags=%x opts=%s%s%s\n",
 632     filename ? filename : US"NULL",
 633     keystring, partial, affixlen, affix, starflags,
 634     opts ? "\"" : "", opts, opts ? "\"" : "");
 635
 636   }
 637
 638 /* Arrange to put this database at the top of the LRU chain if it is a type
 639 that opens real files. */
 640
 641 if (  open_top != (tree_node *)handle
 642    && lookup_list[t->name[0]-'0']->type == lookup_absfile)
 643   {
 644   search_cache *c = (search_cache *)(t->data.ptr);
 645   tree_node *up = c->up;
 646   tree_node *down = c->down;
 647
 648   /* Cut it out of the list. A newly opened file will a NULL up pointer.
 649   Otherwise there will be a non-NULL up pointer, since we checked above that
 650   this block isn't already at the top of the list. */
 651
 652   if (up)
 653     {
 654     ((search_cache *)(up->data.ptr))->down = down;
 655     if (down)
 656       ((search_cache *)(down->data.ptr))->up = up;
 657     else
 658       open_bot = up;
 659     }
 660
 661   /* Now put it at the head of the list. */
 662
 663   c->up = NULL;
 664   c->down = open_top;
 665   if (!open_top) open_bot = t;
 666   else ((search_cache *)(open_top->data.ptr))->up = t;
 667   open_top = t;
 668   }
 669
 670 DEBUG(D_lookup)
 671   {
 672   debug_printf_indent("LRU list:\n");
 673   for (tree_node *t = open_top; t; )
 674     {
 675     search_cache *c = (search_cache *)(t->data.ptr);
 676     debug_printf_indent("  %s\n", t->name);
 677     if (t == open_bot) debug_printf_indent("  End\n");
 678     t = c->down;
 679     }
 680   }
 681
 682 /* First of all, try to match the key string verbatim. If matched a complete
 683 entry but could have been partial, flag to set up variables. */
 684
 685 yield = internal_search_find(handle, filename, keystring, opts);
 686 if (f.search_find_defer) return NULL;
 687
 688 if (yield) { if (partial >= 0) set_null_wild = TRUE; }
 689
 690 /* Not matched a complete entry; handle partial lookups, but only if the full
 691 search didn't defer. Don't use string_sprintf() to construct the initial key,
 692 just in case the original key is too long for the string_sprintf() buffer (it
 693 *has* happened!). The case of a zero-length affix has to be treated specially.
 694 */
 695
 696 else if (partial >= 0)
 697   {
 698   int len = Ustrlen(keystring);
 699   uschar *keystring2;
 700
 701   /* Try with the affix on the front, except for a zero-length affix */
 702
 703   if (affixlen == 0) keystring2 = keystring; else
 704     {
 705     keystring2 = store_get(len + affixlen + 1,
 706                         is_tainted(keystring) || is_tainted(affix));
 707     Ustrncpy(keystring2, affix, affixlen);
 708     Ustrcpy(keystring2 + affixlen, keystring);
 709     DEBUG(D_lookup) debug_printf_indent("trying partial match %s\n", keystring2);
 710     yield = internal_search_find(handle, filename, keystring2, opts);
 711     if (f.search_find_defer) return NULL;
 712     }
 713
 714   /* The key in its entirety did not match a wild entry; try chopping off
 715   leading components. */
 716
 717   if (yield == NULL)
 718     {
 719     int dotcount = 0;
 720     uschar *keystring3 = keystring2 + affixlen;
 721     uschar *s = keystring3;
 722     while (*s != 0) if (*s++ == '.') dotcount++;
 723
 724     while (dotcount-- >= partial)
 725       {
 726       while (*keystring3 != 0 && *keystring3 != '.') keystring3++;
 727
 728       /* If we get right to the end of the string (which will be the last time
 729       through this loop), we've failed if the affix is null. Otherwise do one
 730       last lookup for the affix itself, but if it is longer than 1 character,
 731       remove the last character if it is ".". */
 732
 733       if (*keystring3 == 0)
 734         {
 735         if (affixlen < 1) break;
 736         if (affixlen > 1 && affix[affixlen-1] == '.') affixlen--;
 737         Ustrncpy(keystring2, affix, affixlen);
 738         keystring2[affixlen] = 0;
 739         keystring3 = keystring2;
 740         }
 741       else
 742         {
 743         keystring3 -= affixlen - 1;
 744         if (affixlen > 0) Ustrncpy(keystring3, affix, affixlen);
 745         }
 746
 747       DEBUG(D_lookup) debug_printf_indent("trying partial match %s\n", keystring3);
 748       yield = internal_search_find(handle, filename, keystring3, opts);
 749       if (f.search_find_defer) return NULL;
 750       if (yield)
 751         {
 752         /* First variable is the wild part; second is the fixed part. Take care
 753         to get it right when keystring3 is just "*". */
 754
 755         if (expand_setup && *expand_setup >= 0)
 756           {
 757           int fixedlength = Ustrlen(keystring3) - affixlen;
 758           int wildlength = Ustrlen(keystring) - fixedlength - 1;
 759           *expand_setup += 1;
 760           expand_nstring[*expand_setup] = keystring;
 761           expand_nlength[*expand_setup] = wildlength;
 762           *expand_setup += 1;
 763           expand_nstring[*expand_setup] = keystring + wildlength + 1;
 764           expand_nlength[*expand_setup] = (fixedlength < 0)? 0 : fixedlength;
 765           }
 766         break;
 767         }
 768       keystring3 += affixlen;
 769       }
 770     }
 771
 772   else set_null_wild = TRUE; /* Matched a wild entry without any wild part */
 773   }
 774
 775 /* If nothing has been matched, but the option to look for "*@" is set, try
 776 replacing everything to the left of @ by *. After a match, the wild part
 777 is set to the string to the left of the @. */
 778
 779 if (!yield  &&  starflags & SEARCH_STARAT)
 780   {
 781   uschar *atat = Ustrrchr(keystring, '@');
 782   if (atat != NULL && atat > keystring)
 783     {
 784     int savechar;
 785     savechar = *(--atat);
 786     *atat = '*';
 787
 788     DEBUG(D_lookup) debug_printf_indent("trying default match %s\n", atat);
 789     yield = internal_search_find(handle, filename, atat, opts);
 790     *atat = savechar;
 791     if (f.search_find_defer) return NULL;
 792
 793     if (yield && expand_setup && *expand_setup >= 0)
 794       {
 795       *expand_setup += 1;
 796       expand_nstring[*expand_setup] = keystring;
 797       expand_nlength[*expand_setup] = atat - keystring + 1;
 798       *expand_setup += 1;
 799       expand_nstring[*expand_setup] = keystring;
 800       expand_nlength[*expand_setup] = 0;
 801       }
 802     }
 803   }
 804
 805 /* If we still haven't matched anything, and the option to look for "*" is set,
 806 try that. If we do match, the first variable (the wild part) is the whole key,
 807 and the second is empty. */
 808
 809 if (!yield  &&  starflags & (SEARCH_STAR|SEARCH_STARAT))
 810   {
 811   DEBUG(D_lookup) debug_printf_indent("trying to match *\n");
 812   yield = internal_search_find(handle, filename, US"*", opts);
 813   if (yield && expand_setup && *expand_setup >= 0)
 814     {
 815     *expand_setup += 1;
 816     expand_nstring[*expand_setup] = keystring;
 817     expand_nlength[*expand_setup] = Ustrlen(keystring);
 818     *expand_setup += 1;
 819     expand_nstring[*expand_setup] = keystring;
 820     expand_nlength[*expand_setup] = 0;
 821     }
 822   }
 823
 824 /* If this was a potentially partial lookup, and we matched either a
 825 complete non-wild domain entry, or we matched a wild-carded entry without
 826 chopping off any of the domain components, set up the expansion variables
 827 (if required) so that the first one is empty, and the second one is the
 828 fixed part of the domain. The set_null_wild flag is set only when yield is not
 829 NULL. */
 830
 831 if (set_null_wild && expand_setup && *expand_setup >= 0)
 832   {
 833   *expand_setup += 1;
 834   expand_nstring[*expand_setup] = keystring;
 835   expand_nlength[*expand_setup] = 0;
 836   *expand_setup += 1;
 837   expand_nstring[*expand_setup] = keystring;
 838   expand_nlength[*expand_setup] = Ustrlen(keystring);
 839   }
 840
 841 return yield;
 842 }
 843
 844 /* End of search.c */