src/src/search.c

   1 /*************************************************
   2 *     Exim - an Internet mail transport agent    *
   3 *************************************************/
   4
   5 /* Copyright (c) University of Cambridge 1995 - 2015 */
   6 /* See the file NOTICE for conditions of use and distribution. */
   7
   8 /* A set of functions to search databases in various formats. An open
   9 database is represented by a void * value which is returned from a lookup-
  10 specific "open" function. These are now all held in individual modules in the
  11 lookups subdirectory and the functions here form a generic interface.
  12
  13 Caching is used to improve performance. Open files are cached until a tidyup
  14 function is called, and for each file the result of the last lookup is cached.
  15 However, if too many files are opened, some of those that are not in use have
  16 to be closed. Those open items that use real files are kept on a LRU chain to
  17 help with this.
  18
  19 All the data is held in permanent store so as to be independent of the stacking
  20 pool that is reset from time to time. In fact, we use malloc'd store so that it
  21 can be freed when the caches are tidied up. It isn't actually clear whether
  22 this is a benefit or not, to be honest. */
  23
  24 #include "exim.h"
  25
  26
  27 /* Tree in which to cache open files until tidyup called. */
  28
  29 static tree_node *search_tree = NULL;
  30
  31 /* Two-way chain of open databases that use real files. This is maintained in
  32 recently-used order for the purposes of closing the least recently used when
  33 too many files are open. */
  34
  35 static tree_node *open_top = NULL;
  36 static tree_node *open_bot = NULL;
  37
  38 /* Count of open databases that use real files */
  39
  40 static int open_filecount = 0;
  41
  42 /* Allow us to reset store used for lookups and lookup caching */
  43
  44 static rmark search_reset_point = NULL;
  45
  46
  47
  48 /*************************************************
  49 *      Validate a plain lookup type name         *
  50 *************************************************/
  51
  52 /* Only those names that are recognized and whose code is included in the
  53 binary give an OK response. Use a binary chop search now that the list has got
  54 so long.
  55
  56 Arguments:
  57   name       lookup type name - not necessarily zero terminated (e.g. dbm*)
  58   len        length of the name
  59
  60 Returns:     +ve => valid lookup name; value is offset in lookup_list
  61              -ve => invalid name; message in search_error_message.
  62 */
  63
  64 int
  65 search_findtype(const uschar *name, int len)
  66 {
  67 int bot = 0;
  68 int top = lookup_list_count;
  69 while (top > bot)
  70   {
  71   int mid = (top + bot)/2;
  72   int c = Ustrncmp(name, lookup_list[mid]->name, len);
  73
  74   /* If c == 0 we have matched the incoming name with the start of the search
  75   type name. However, some search types are substrings of others (e.g. nis and
  76   nisplus) so we need to check that the lengths are the same. The length of the
  77   type name cannot be shorter (else c would not be 0); if it is not equal it
  78   must be longer, and in that case, the incoming name comes before the name we
  79   are testing. By leaving c == 0 when the lengths are different, and doing a
  80   > 0 test below, this all falls out correctly. */
  81
  82   if (c == 0 && Ustrlen(lookup_list[mid]->name) == len)
  83     {
  84     if (lookup_list[mid]->find != NULL) return mid;
  85     search_error_message  = string_sprintf("lookup type \"%.*s\" is not "
  86       "available (not in the binary - check buildtime LOOKUP configuration)",
  87       len, name);
  88     return -1;
  89     }
  90
  91   if (c > 0) bot = mid + 1; else top = mid;
  92   }
  93
  94 search_error_message = string_sprintf("unknown lookup type \"%.*s\"",len,name);
  95 return -1;
  96 }
  97
  98
  99
 100 /*************************************************
 101 *       Validate a full lookup type name         *
 102 *************************************************/
 103
 104 /* This function recognizes the "partial-" prefix and also terminating * and *@
 105 suffixes.
 106
 107 Arguments:
 108   name         the full lookup type name
 109   ptypeptr     where to put the partial type
 110                  after subtraction of 1024 or 2048:
 111                    negative     => no partial matching
 112                    non-negative => minimum number of non-wild components
 113   ptypeaff     where to put a pointer to the affix
 114                  the affix is within name if supplied therein
 115                  otherwise it's a literal string
 116   afflen       the length of the affix
 117   starflags    where to put the SEARCH_STAR and SEARCH_STARAT flags
 118   opts         where to put the options
 119
 120 Returns:     +ve => valid lookup name; value is offset in lookup_list
 121              -ve => invalid name; message in search_error_message.
 122 */
 123
 124 int
 125 search_findtype_partial(const uschar *name, int *ptypeptr, const uschar **ptypeaff,
 126   int *afflen, int *starflags, const uschar ** opts)
 127 {
 128 int len, stype;
 129 int pv = -1;
 130 const uschar *ss = name;
 131 const uschar * t;
 132
 133 *starflags = 0;
 134 *ptypeaff = NULL;
 135
 136 /* Check for a partial matching type. It must start with "partial", optionally
 137 followed by a sequence of digits. If this is followed by "-", the affix is the
 138 default "*." string. Otherwise we expect an affix in parentheses. Affixes are a
 139 limited number of characters, not including parens. */
 140
 141 if (Ustrncmp(name, "partial", 7) == 0)
 142   {
 143   ss += 7;
 144   if (isdigit (*ss))
 145     {
 146     pv = 0;
 147     while (isdigit(*ss)) pv = pv*10 + *ss++ - '0';
 148     }
 149   else pv = 2;         /* Default number of wild components */
 150
 151   if (*ss == '(')
 152     {
 153     *ptypeaff = ++ss;
 154     while (ispunct(*ss) && *ss != ')') ss++;
 155     if (*ss != ')') goto BAD_TYPE;
 156     *afflen = ss++ - *ptypeaff;
 157     }
 158   else if (*ss++ == '-')
 159     {
 160     *ptypeaff = US "*.";
 161     *afflen = 2;
 162     }
 163   else
 164     {
 165     BAD_TYPE:
 166     search_error_message = string_sprintf("format error in lookup type \"%s\"",
 167       name);
 168     return -1;
 169     }
 170   }
 171
 172 /* Now we are left with a lookup name, possibly followed by * or *@,
 173 and then by options starting with a "," */
 174
 175 len = Ustrlen(ss);
 176 if ((t = Ustrchr(ss, '*')))
 177   {
 178   len = t - ss;
 179   *starflags |= (t[1] == '@' ? SEARCH_STARAT : SEARCH_STAR);
 180   }
 181 else
 182   t = ss;
 183
 184 if ((t = Ustrchr(t, ',')))
 185   {
 186   int l = t - ss;
 187   if (l < len) len = l;
 188   *opts = string_copy(t+1);
 189   }
 190 else
 191   * opts = NULL;
 192
 193 /* Check for the individual search type. Only those that are actually in the
 194 binary are valid. For query-style types, "partial" and default types are
 195 erroneous. */
 196
 197 stype = search_findtype(ss, len);
 198 if (stype >= 0 && mac_islookup(stype, lookup_querystyle))
 199   {
 200   if (pv >= 0)
 201     {
 202     search_error_message = string_sprintf("\"partial\" is not permitted "
 203       "for lookup type \"%s\"", ss);
 204     return -1;
 205     }
 206   if ((*starflags & (SEARCH_STAR|SEARCH_STARAT)) != 0)
 207     {
 208     search_error_message = string_sprintf("defaults using \"*\" or \"*@\" are "
 209       "not permitted for lookup type \"%s\"", ss);
 210     return -1;
 211     }
 212   }
 213
 214 *ptypeptr = pv;
 215 return stype;
 216 }
 217
 218
 219
 220 /*************************************************
 221 *               Release cached resources         *
 222 *************************************************/
 223
 224 /* When search_open is called it caches the "file" that it opens in
 225 search_tree. The name of the tree node is a concatenation of the search type
 226 with the file name. For query-style lookups, the file name is empty. Real files
 227 are normally closed only when this tidyup routine is called, typically at the
 228 end of sections of code where a number of lookups might occur. However, if too
 229 many files are open simultaneously, some get closed beforehand. They can't be
 230 removed from the tree. There is also a general tidyup function which is called
 231 for the lookup driver, if it exists.
 232
 233 First, there is an internal, recursive subroutine.
 234
 235 Argument:    a pointer to a search_openfile tree node
 236 Returns:     nothing
 237 */
 238
 239 static void
 240 tidyup_subtree(tree_node *t)
 241 {
 242 search_cache *c = (search_cache *)(t->data.ptr);
 243 if (t->left != NULL) tidyup_subtree(t->left);
 244 if (t->right != NULL) tidyup_subtree(t->right);
 245 if (c != NULL &&
 246     c->handle != NULL &&
 247     lookup_list[c->search_type]->close != NULL)
 248   lookup_list[c->search_type]->close(c->handle);
 249 }
 250
 251
 252 /* The external entry point
 253
 254 Argument: none
 255 Returns:  nothing
 256 */
 257
 258 void
 259 search_tidyup(void)
 260 {
 261 int old_pool = store_pool;
 262
 263 DEBUG(D_lookup) debug_printf_indent("search_tidyup called\n");
 264
 265 /* Close individually each cached open file. */
 266
 267 store_pool = POOL_SEARCH;
 268 if (search_tree)
 269   {
 270   tidyup_subtree(search_tree);
 271   search_tree = NULL;
 272   }
 273 open_top = open_bot = NULL;
 274 open_filecount = 0;
 275
 276 /* Call the general tidyup entry for any drivers that have one. */
 277
 278 for (int i = 0; i < lookup_list_count; i++) if (lookup_list[i]->tidy)
 279   (lookup_list[i]->tidy)();
 280
 281 if (search_reset_point) search_reset_point = store_reset(search_reset_point);
 282 store_pool = old_pool;
 283 }
 284
 285
 286
 287
 288 /*************************************************
 289 *             Open search database               *
 290 *************************************************/
 291
 292 /* A mode, and lists of owners and groups, are passed over for checking in
 293 the cases where the database is one or more files. Return NULL, with a message
 294 pointed to by message, in cases of error.
 295
 296 For search types that use a file or files, check up on the mode after
 297 opening. It is tempting to do a stat before opening the file, and use it as
 298 an existence check. However, doing that opens a small security loophole in
 299 that the status could be changed before the file is opened. Can't quite see
 300 what problems this might lead to, but you can't be too careful where security
 301 is concerned. Fstat() on an open file can normally be expected to succeed,
 302 but there are some NFS states where it does not.
 303
 304 There are two styles of query: (1) in the "single-key+file" style, a single
 305 key string and a file name are given, for example, for linear searches, DBM
 306 files, or for NIS. (2) In the "query" style, no "filename" is given; instead
 307 just a single query string is passed. This applies to multiple-key lookup
 308 types such as NIS+.
 309
 310 Before opening, scan the tree of cached files to see if this file is already
 311 open for the correct search type. If so, return the saved handle. If not, put
 312 the handle in the tree for possible subsequent use. See search_tidyup above for
 313 closing all the cached files.
 314
 315 A count of open databases which use real files is maintained, and if this
 316 gets too large, we have to close a cached file. Its entry remains in the tree,
 317 but is marked closed.
 318
 319 Arguments:
 320   filename       the name of the file for single-key+file style lookups,
 321                  NULL for query-style lookups
 322   search_type    the type of search required
 323   modemask       if a real single file is used, this specifies mode bits that
 324                  must not be set; otherwise it is ignored
 325   owners         if a real single file is used, this specifies the possible
 326                  owners of the file; otherwise it is ignored
 327   owngroups      if a real single file is used, this specifies the possible
 328                  group owners of the file; otherwise it is ignored
 329
 330 Returns:         an identifying handle for the open database;
 331                  this is the pointer to the tree block in the
 332                  cache of open files; return NULL on open failure, with
 333                  a message in search_error_message
 334 */
 335
 336 void *
 337 search_open(const uschar * filename, int search_type, int modemask,
 338   uid_t * owners, gid_t * owngroups)
 339 {
 340 void *handle;
 341 tree_node *t;
 342 search_cache *c;
 343 lookup_info *lk = lookup_list[search_type];
 344 uschar keybuffer[256];
 345 int old_pool = store_pool;
 346
 347 if (filename && is_tainted(filename))
 348   {
 349   log_write(0, LOG_MAIN|LOG_PANIC,
 350     "Tainted filename for search: '%s'", filename);
 351   return NULL;
 352   }
 353
 354 /* Change to the search store pool and remember our reset point */
 355
 356 store_pool = POOL_SEARCH;
 357 if (!search_reset_point) search_reset_point = store_mark();
 358
 359 DEBUG(D_lookup) debug_printf_indent("search_open: %s \"%s\"\n", lk->name,
 360   filename ? filename : US"NULL");
 361
 362 /* See if we already have this open for this type of search, and if so,
 363 pass back the tree block as the handle. The key for the tree node is the search
 364 type plus '0' concatenated with the file name. There may be entries in the tree
 365 with closed files if a lot of files have been opened. */
 366
 367 sprintf(CS keybuffer, "%c%.254s", search_type + '0',
 368   filename ? filename : US"");
 369
 370 if ((t = tree_search(search_tree, keybuffer)))
 371   {
 372   if ((c = (search_cache *)t->data.ptr)->handle)
 373     {
 374     DEBUG(D_lookup) debug_printf_indent("  cached open\n");
 375     store_pool = old_pool;
 376     return t;
 377     }
 378   DEBUG(D_lookup) debug_printf_indent("  cached closed\n");
 379   }
 380
 381 /* Otherwise, we need to open the file or database - each search type has its
 382 own code, which is now split off into separately compiled modules. Before doing
 383 this, if the search type is one that uses real files, check on the number that
 384 we are holding open in the cache. If the limit is reached, close the least
 385 recently used one. */
 386
 387 if (lk->type == lookup_absfile && open_filecount >= lookup_open_max)
 388   if (!open_bot)
 389     log_write(0, LOG_MAIN|LOG_PANIC, "too many lookups open, but can't find "
 390       "one to close");
 391   else
 392     {
 393     search_cache *c = (search_cache *)(open_bot->data.ptr);
 394     DEBUG(D_lookup) debug_printf_indent("Too many lookup files open\n  closing %s\n",
 395       open_bot->name);
 396     if ((open_bot = c->up))
 397       ((search_cache *)(open_bot->data.ptr))->down = NULL;
 398     else
 399       open_top = NULL;
 400     ((lookup_list[c->search_type])->close)(c->handle);
 401     c->handle = NULL;
 402     open_filecount--;
 403     }
 404
 405 /* If opening is successful, call the file-checking function if there is one,
 406 and if all is still well, enter the open database into the tree. */
 407
 408 if (!(handle = (lk->open)(filename, &search_error_message)))
 409   {
 410   store_pool = old_pool;
 411   return NULL;
 412   }
 413
 414 if (  lk->check
 415    && !lk->check(handle, filename, modemask, owners, owngroups,
 416          &search_error_message))
 417   {
 418   lk->close(handle);
 419   store_pool = old_pool;
 420   return NULL;
 421   }
 422
 423 /* If this is a search type that uses real files, keep count. */
 424
 425 if (lk->type == lookup_absfile) open_filecount++;
 426
 427 /* If we found a previously opened entry in the tree, re-use it; otherwise
 428 insert a new entry. On re-use, leave any cached lookup data and the lookup
 429 count alone. */
 430
 431 if (!t)
 432   {
 433   t = store_get(sizeof(tree_node) + Ustrlen(keybuffer), FALSE);
 434   t->data.ptr = c = store_get(sizeof(search_cache), FALSE);
 435   c->item_cache = NULL;
 436   Ustrcpy(t->name, keybuffer);
 437   tree_insertnode(&search_tree, t);
 438   }
 439 else c = t->data.ptr;
 440
 441 c->handle = handle;
 442 c->search_type = search_type;
 443 c->up = c->down = NULL;
 444
 445 store_pool = old_pool;
 446 return t;
 447 }
 448
 449
 450
 451
 452
 453 /*************************************************
 454 *  Internal function: Find one item in database  *
 455 *************************************************/
 456
 457 /* The answer is always put into dynamic store. The last lookup for each handle
 458 is cached.
 459
 460 Arguments:
 461   handle       the handle from search_open; points to tree node
 462   filename     the filename that was handed to search_open, or
 463                NULL for query-style searches
 464   keystring    the keystring for single-key+file lookups, or
 465                the querystring for query-style lookups
 466   opts         type-specific options
 467
 468 Returns:       a pointer to a dynamic string containing the answer,
 469                or NULL if the query failed or was deferred; in the
 470                latter case, search_find_defer is set TRUE; after an unusual
 471                failure, there may be a message in search_error_message.
 472 */
 473
 474 static uschar *
 475 internal_search_find(void * handle, const uschar * filename, uschar * keystring,
 476   const uschar * opts)
 477 {
 478 tree_node * t = (tree_node *)handle;
 479 search_cache * c = (search_cache *)(t->data.ptr);
 480 expiring_data * e = NULL;       /* compiler quietening */
 481 uschar * data = NULL;
 482 int search_type = t->name[0] - '0';
 483 int old_pool = store_pool;
 484
 485 /* Lookups that return DEFER may not always set an error message. So that
 486 the callers don't have to test for NULL, set an empty string. */
 487
 488 search_error_message = US"";
 489 f.search_find_defer = FALSE;
 490
 491 DEBUG(D_lookup) debug_printf_indent("internal_search_find: file=\"%s\"\n  "
 492   "type=%s key=\"%s\" opts=%s%s%s\n", filename,
 493   lookup_list[search_type]->name, keystring,
 494   opts ? "\"" : "", opts, opts ? "\"" : "");
 495
 496 /* Insurance. If the keystring is empty, just fail. */
 497
 498 if (keystring[0] == 0) return NULL;
 499
 500 /* Use the special store pool for search data */
 501
 502 store_pool = POOL_SEARCH;
 503
 504 /* Look up the data for the key, unless it is already in the cache for this
 505 file. No need to check c->item_cache for NULL, tree_search will do so. */
 506
 507 if (  (t = tree_search(c->item_cache, keystring))
 508    && (!(e = t->data.ptr)->expiry || e->expiry > time(NULL))
 509    && (!opts && !e->opts  ||  opts && e->opts && Ustrcmp(opts, e->opts) == 0)
 510    )
 511   { /* Data was in the cache already; set the pointer from the tree node */
 512   data = e->data.ptr;
 513   DEBUG(D_lookup) debug_printf_indent("cached data used for lookup of %s%s%s\n",
 514     keystring,
 515     filename ? US"\n  in " : US"", filename ? filename : US"");
 516   }
 517 else
 518   {
 519   uint do_cache = UINT_MAX;
 520   int keylength = Ustrlen(keystring);
 521
 522   DEBUG(D_lookup)
 523     {
 524     if (t)
 525       debug_printf_indent("cached data found but either wrong opts or dated; ");
 526     debug_printf_indent("%s lookup required for %s%s%s\n",
 527       filename ? US"file" : US"database",
 528       keystring,
 529       filename ? US"\n  in " : US"", filename ? filename : US"");
 530     }
 531
 532   /* Call the code for the different kinds of search. DEFER is handled
 533   like FAIL, except that search_find_defer is set so the caller can
 534   distinguish if necessary. */
 535
 536   if (lookup_list[search_type]->find(c->handle, filename, keystring, keylength,
 537       &data, &search_error_message, &do_cache, opts) == DEFER)
 538     f.search_find_defer = TRUE;
 539
 540   /* A record that has been found is now in data, which is either NULL
 541   or points to a bit of dynamic store. Cache the result of the lookup if
 542   caching is permitted. Lookups can disable caching, when they did something
 543   that changes their data. The mysql and pgsql lookups do this when an
 544   UPDATE/INSERT query was executed. */
 545
 546   else if (do_cache)
 547     {
 548     if (!t) /* No existing entry.  Create new one. */
 549       {
 550       int len = keylength + 1;
 551       e = store_get(sizeof(expiring_data) + sizeof(tree_node) + len, is_tainted(keystring));
 552       e->expiry = do_cache == UINT_MAX ? 0 : time(NULL)+do_cache;
 553       e->opts = opts;
 554       e->data.ptr = data;
 555       t = (tree_node *)(e+1);
 556       memcpy(t->name, keystring, len);
 557       t->data.ptr = e;
 558       tree_insertnode(&c->item_cache, t);
 559       }
 560       /* Else previous, out-of-date cache entry.  Update with the */
 561       /* new result and forget the old one */
 562     e->expiry = do_cache == UINT_MAX ? 0 : time(NULL)+do_cache;
 563     e->opts = opts;
 564     e->data.ptr = data;
 565     }
 566
 567   /* If caching was disabled, empty the cache tree. We just set the cache
 568   pointer to NULL here, because we cannot release the store at this stage. */
 569
 570   else
 571     {
 572     DEBUG(D_lookup) debug_printf_indent("lookup forced cache cleanup\n");
 573     c->item_cache = NULL;
 574     }
 575   }
 576
 577 DEBUG(D_lookup)
 578   {
 579   if (data)
 580     debug_printf_indent("lookup yielded: %s\n", data);
 581   else if (f.search_find_defer)
 582     debug_printf_indent("lookup deferred: %s\n", search_error_message);
 583   else debug_printf_indent("lookup failed\n");
 584   }
 585
 586 /* Return it in new dynamic store in the regular pool */
 587
 588 store_pool = old_pool;
 589 return data ? string_copy(data) : NULL;
 590 }
 591
 592
 593
 594
 595 /*************************************************
 596 * Find one item in database, possibly wildcarded *
 597 *************************************************/
 598
 599 /* This function calls the internal function above; once only if there
 600 is no partial matching, but repeatedly when partial matching is requested.
 601
 602 Arguments:
 603   handle         the handle from search_open
 604   filename       the filename that was handed to search_open, or
 605                    NULL for query-style searches
 606   keystring      the keystring for single-key+file lookups, or
 607                    the querystring for query-style lookups
 608   partial        -1 means no partial matching;
 609                    otherwise it's the minimum number of components;
 610   affix          the affix string for partial matching
 611   affixlen       the length of the affix string
 612   starflags      SEARCH_STAR and SEARCH_STARAT flags
 613   expand_setup   pointer to offset for setting up expansion strings;
 614                  don't do any if < 0
 615   opts           type-specific options
 616
 617 Returns:         a pointer to a dynamic string containing the answer,
 618                  or NULL if the query failed or was deferred; in the
 619                  latter case, search_find_defer is set TRUE
 620 */
 621
 622 uschar *
 623 search_find(void * handle, const uschar * filename, uschar * keystring,
 624   int partial, const uschar * affix, int affixlen, int starflags,
 625   int * expand_setup, const uschar * opts)
 626 {
 627 tree_node *t = (tree_node *)handle;
 628 BOOL set_null_wild = FALSE;
 629 uschar *yield;
 630
 631 DEBUG(D_lookup)
 632   {
 633   if (partial < 0) affixlen = 99;   /* So that "NULL" prints */
 634   debug_printf_indent("search_find: file=\"%s\"\n  key=\"%s\" "
 635     "partial=%d affix=%.*s starflags=%x opts=%s%s%s\n",
 636     filename ? filename : US"NULL",
 637     keystring, partial, affixlen, affix, starflags,
 638     opts ? "\"" : "", opts, opts ? "\"" : "");
 639
 640   }
 641
 642 /* Arrange to put this database at the top of the LRU chain if it is a type
 643 that opens real files. */
 644
 645 if (  open_top != (tree_node *)handle
 646    && lookup_list[t->name[0]-'0']->type == lookup_absfile)
 647   {
 648   search_cache *c = (search_cache *)(t->data.ptr);
 649   tree_node *up = c->up;
 650   tree_node *down = c->down;
 651
 652   /* Cut it out of the list. A newly opened file will a NULL up pointer.
 653   Otherwise there will be a non-NULL up pointer, since we checked above that
 654   this block isn't already at the top of the list. */
 655
 656   if (up)
 657     {
 658     ((search_cache *)(up->data.ptr))->down = down;
 659     if (down)
 660       ((search_cache *)(down->data.ptr))->up = up;
 661     else
 662       open_bot = up;
 663     }
 664
 665   /* Now put it at the head of the list. */
 666
 667   c->up = NULL;
 668   c->down = open_top;
 669   if (!open_top) open_bot = t;
 670   else ((search_cache *)(open_top->data.ptr))->up = t;
 671   open_top = t;
 672   }
 673
 674 DEBUG(D_lookup)
 675   {
 676   debug_printf_indent("LRU list:\n");
 677   for (tree_node *t = open_top; t; )
 678     {
 679     search_cache *c = (search_cache *)(t->data.ptr);
 680     debug_printf_indent("  %s\n", t->name);
 681     if (t == open_bot) debug_printf_indent("  End\n");
 682     t = c->down;
 683     }
 684   }
 685
 686 /* First of all, try to match the key string verbatim. If matched a complete
 687 entry but could have been partial, flag to set up variables. */
 688
 689 yield = internal_search_find(handle, filename, keystring, opts);
 690 if (f.search_find_defer) return NULL;
 691
 692 if (yield) { if (partial >= 0) set_null_wild = TRUE; }
 693
 694 /* Not matched a complete entry; handle partial lookups, but only if the full
 695 search didn't defer. Don't use string_sprintf() to construct the initial key,
 696 just in case the original key is too long for the string_sprintf() buffer (it
 697 *has* happened!). The case of a zero-length affix has to be treated specially.
 698 */
 699
 700 else if (partial >= 0)
 701   {
 702   int len = Ustrlen(keystring);
 703   uschar *keystring2;
 704
 705   /* Try with the affix on the front, except for a zero-length affix */
 706
 707   if (affixlen == 0) keystring2 = keystring; else
 708     {
 709     keystring2 = store_get(len + affixlen + 1,
 710                         is_tainted(keystring) || is_tainted(affix));
 711     Ustrncpy(keystring2, affix, affixlen);
 712     Ustrcpy(keystring2 + affixlen, keystring);
 713     DEBUG(D_lookup) debug_printf_indent("trying partial match %s\n", keystring2);
 714     yield = internal_search_find(handle, filename, keystring2, opts);
 715     if (f.search_find_defer) return NULL;
 716     }
 717
 718   /* The key in its entirety did not match a wild entry; try chopping off
 719   leading components. */
 720
 721   if (yield == NULL)
 722     {
 723     int dotcount = 0;
 724     uschar *keystring3 = keystring2 + affixlen;
 725     uschar *s = keystring3;
 726     while (*s != 0) if (*s++ == '.') dotcount++;
 727
 728     while (dotcount-- >= partial)
 729       {
 730       while (*keystring3 != 0 && *keystring3 != '.') keystring3++;
 731
 732       /* If we get right to the end of the string (which will be the last time
 733       through this loop), we've failed if the affix is null. Otherwise do one
 734       last lookup for the affix itself, but if it is longer than 1 character,
 735       remove the last character if it is ".". */
 736
 737       if (*keystring3 == 0)
 738         {
 739         if (affixlen < 1) break;
 740         if (affixlen > 1 && affix[affixlen-1] == '.') affixlen--;
 741         Ustrncpy(keystring2, affix, affixlen);
 742         keystring2[affixlen] = 0;
 743         keystring3 = keystring2;
 744         }
 745       else
 746         {
 747         keystring3 -= affixlen - 1;
 748         if (affixlen > 0) Ustrncpy(keystring3, affix, affixlen);
 749         }
 750
 751       DEBUG(D_lookup) debug_printf_indent("trying partial match %s\n", keystring3);
 752       yield = internal_search_find(handle, filename, keystring3, opts);
 753       if (f.search_find_defer) return NULL;
 754       if (yield)
 755         {
 756         /* First variable is the wild part; second is the fixed part. Take care
 757         to get it right when keystring3 is just "*". */
 758
 759         if (expand_setup && *expand_setup >= 0)
 760           {
 761           int fixedlength = Ustrlen(keystring3) - affixlen;
 762           int wildlength = Ustrlen(keystring) - fixedlength - 1;
 763           *expand_setup += 1;
 764           expand_nstring[*expand_setup] = keystring;
 765           expand_nlength[*expand_setup] = wildlength;
 766           *expand_setup += 1;
 767           expand_nstring[*expand_setup] = keystring + wildlength + 1;
 768           expand_nlength[*expand_setup] = (fixedlength < 0)? 0 : fixedlength;
 769           }
 770         break;
 771         }
 772       keystring3 += affixlen;
 773       }
 774     }
 775
 776   else set_null_wild = TRUE; /* Matched a wild entry without any wild part */
 777   }
 778
 779 /* If nothing has been matched, but the option to look for "*@" is set, try
 780 replacing everything to the left of @ by *. After a match, the wild part
 781 is set to the string to the left of the @. */
 782
 783 if (!yield  &&  starflags & SEARCH_STARAT)
 784   {
 785   uschar *atat = Ustrrchr(keystring, '@');
 786   if (atat != NULL && atat > keystring)
 787     {
 788     int savechar;
 789     savechar = *(--atat);
 790     *atat = '*';
 791
 792     DEBUG(D_lookup) debug_printf_indent("trying default match %s\n", atat);
 793     yield = internal_search_find(handle, filename, atat, opts);
 794     *atat = savechar;
 795     if (f.search_find_defer) return NULL;
 796
 797     if (yield && expand_setup && *expand_setup >= 0)
 798       {
 799       *expand_setup += 1;
 800       expand_nstring[*expand_setup] = keystring;
 801       expand_nlength[*expand_setup] = atat - keystring + 1;
 802       *expand_setup += 1;
 803       expand_nstring[*expand_setup] = keystring;
 804       expand_nlength[*expand_setup] = 0;
 805       }
 806     }
 807   }
 808
 809 /* If we still haven't matched anything, and the option to look for "*" is set,
 810 try that. If we do match, the first variable (the wild part) is the whole key,
 811 and the second is empty. */
 812
 813 if (!yield  &&  starflags & (SEARCH_STAR|SEARCH_STARAT))
 814   {
 815   DEBUG(D_lookup) debug_printf_indent("trying to match *\n");
 816   yield = internal_search_find(handle, filename, US"*", opts);
 817   if (yield && expand_setup && *expand_setup >= 0)
 818     {
 819     *expand_setup += 1;
 820     expand_nstring[*expand_setup] = keystring;
 821     expand_nlength[*expand_setup] = Ustrlen(keystring);
 822     *expand_setup += 1;
 823     expand_nstring[*expand_setup] = keystring;
 824     expand_nlength[*expand_setup] = 0;
 825     }
 826   }
 827
 828 /* If this was a potentially partial lookup, and we matched either a
 829 complete non-wild domain entry, or we matched a wild-carded entry without
 830 chopping off any of the domain components, set up the expansion variables
 831 (if required) so that the first one is empty, and the second one is the
 832 fixed part of the domain. The set_null_wild flag is set only when yield is not
 833 NULL. */
 834
 835 if (set_null_wild && expand_setup && *expand_setup >= 0)
 836   {
 837   *expand_setup += 1;
 838   expand_nstring[*expand_setup] = keystring;
 839   expand_nlength[*expand_setup] = 0;
 840   *expand_setup += 1;
 841   expand_nstring[*expand_setup] = keystring;
 842   expand_nlength[*expand_setup] = Ustrlen(keystring);
 843   }
 844
 845 return yield;
 846 }
 847
 848 /* End of search.c */