Testsuite: munge for no-DKIM builds
[exim.git] / src / src / search.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2015 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* A set of functions to search databases in various formats. An open
9 database is represented by a void * value which is returned from a lookup-
10 specific "open" function. These are now all held in individual modules in the
11 lookups subdirectory and the functions here form a generic interface.
12
13 Caching is used to improve performance. Open files are cached until a tidyup
14 function is called, and for each file the result of the last lookup is cached.
15 However, if too many files are opened, some of those that are not in use have
16 to be closed. Those open items that use real files are kept on a LRU chain to
17 help with this.
18
19 All the data is held in permanent store so as to be independent of the stacking
20 pool that is reset from time to time. In fact, we use malloc'd store so that it
21 can be freed when the caches are tidied up. It isn't actually clear whether
22 this is a benefit or not, to be honest. */
23
24 #include "exim.h"
25
26
27 /* Tree in which to cache open files until tidyup called. */
28
29 static tree_node *search_tree = NULL;
30
31 /* Two-way chain of open databases that use real files. This is maintained in
32 recently-used order for the purposes of closing the least recently used when
33 too many files are open. */
34
35 static tree_node *open_top = NULL;
36 static tree_node *open_bot = NULL;
37
38 /* Count of open databases that use real files */
39
40 static int open_filecount = 0;
41
42 /* Allow us to reset store used for lookups and lookup caching */
43
44 static void *search_reset_point = NULL;
45
46
47
48 /*************************************************
49 *      Validate a plain lookup type name         *
50 *************************************************/
51
52 /* Only those names that are recognized and whose code is included in the
53 binary give an OK response. Use a binary chop search now that the list has got
54 so long.
55
56 Arguments:
57   name       lookup type name - not necessarily zero terminated (e.g. dbm*)
58   len        length of the name
59
60 Returns:     +ve => valid lookup name; value is offset in lookup_list
61              -ve => invalid name; message in search_error_message.
62 */
63
64 int
65 search_findtype(const uschar *name, int len)
66 {
67 int bot = 0;
68 int top = lookup_list_count;
69 while (top > bot)
70   {
71   int mid = (top + bot)/2;
72   int c = Ustrncmp(name, lookup_list[mid]->name, len);
73
74   /* If c == 0 we have matched the incoming name with the start of the search
75   type name. However, some search types are substrings of others (e.g. nis and
76   nisplus) so we need to check that the lengths are the same. The length of the
77   type name cannot be shorter (else c would not be 0); if it is not equal it
78   must be longer, and in that case, the incoming name comes before the name we
79   are testing. By leaving c == 0 when the lengths are different, and doing a
80   > 0 test below, this all falls out correctly. */
81
82   if (c == 0 && Ustrlen(lookup_list[mid]->name) == len)
83     {
84     if (lookup_list[mid]->find != NULL) return mid;
85     search_error_message  = string_sprintf("lookup type \"%.*s\" is not "
86       "available (not in the binary - check buildtime LOOKUP configuration)",
87       len, name);
88     return -1;
89     }
90
91   if (c > 0) bot = mid + 1; else top = mid;
92   }
93
94 search_error_message = string_sprintf("unknown lookup type \"%.*s\"",len,name);
95 return -1;
96 }
97
98
99
100 /*************************************************
101 *       Validate a full lookup type name         *
102 *************************************************/
103
104 /* This function recognizes the "partial-" prefix and also terminating * and *@
105 suffixes.
106
107 Arguments:
108   name         the full lookup type name
109   ptypeptr     where to put the partial type
110                  after subtraction of 1024 or 2048:
111                    negative     => no partial matching
112                    non-negative => minimum number of non-wild components
113   ptypeaff     where to put a pointer to the affix
114                  the affix is within name if supplied therein
115                  otherwise it's a literal string
116   afflen       the length of the affix
117   starflags    where to put the SEARCH_STAR and SEARCH_STARAT flags
118
119 Returns:     +ve => valid lookup name; value is offset in lookup_list
120              -ve => invalid name; message in search_error_message.
121 */
122
123 int
124 search_findtype_partial(const uschar *name, int *ptypeptr, const uschar **ptypeaff,
125   int *afflen, int *starflags)
126 {
127 int len, stype;
128 int pv = -1;
129 const uschar *ss = name;
130
131 *starflags = 0;
132 *ptypeaff = NULL;
133
134 /* Check for a partial matching type. It must start with "partial", optionally
135 followed by a sequence of digits. If this is followed by "-", the affix is the
136 default "*." string. Otherwise we expect an affix in parentheses. Affixes are a
137 limited number of characters, not including parens. */
138
139 if (Ustrncmp(name, "partial", 7) == 0)
140   {
141   ss += 7;
142   if (isdigit (*ss))
143     {
144     pv = 0;
145     while (isdigit(*ss)) pv = pv*10 + *ss++ - '0';
146     }
147   else pv = 2;         /* Default number of wild components */
148
149   if (*ss == '(')
150     {
151     *ptypeaff = ++ss;
152     while (ispunct(*ss) && *ss != ')') ss++;
153     if (*ss != ')') goto BAD_TYPE;
154     *afflen = ss++ - *ptypeaff;
155     }
156   else if (*ss++ == '-')
157     {
158     *ptypeaff = US "*.";
159     *afflen = 2;
160     }
161   else
162     {
163     BAD_TYPE:
164     search_error_message = string_sprintf("format error in lookup type \"%s\"",
165       name);
166     return -1;
167     }
168   }
169
170 /* Now we are left with a lookup name, possibly followed by * or *@. */
171
172 len = Ustrlen(ss);
173 if (len >= 2 && Ustrncmp(ss + len - 2, "*@", 2) == 0)
174   {
175   *starflags |= SEARCH_STARAT;
176   len -= 2;
177   }
178 else if (len >= 1 && ss[len-1]  == '*')
179   {
180   *starflags |= SEARCH_STAR;
181   len--;
182   }
183
184 /* Check for the individual search type. Only those that are actually in the
185 binary are valid. For query-style types, "partial" and default types are
186 erroneous. */
187
188 stype = search_findtype(ss, len);
189 if (stype >= 0 && mac_islookup(stype, lookup_querystyle))
190   {
191   if (pv >= 0)
192     {
193     search_error_message = string_sprintf("\"partial\" is not permitted "
194       "for lookup type \"%s\"", ss);
195     return -1;
196     }
197   if ((*starflags & (SEARCH_STAR|SEARCH_STARAT)) != 0)
198     {
199     search_error_message = string_sprintf("defaults using \"*\" or \"*@\" are "
200       "not permitted for lookup type \"%s\"", ss);
201     return -1;
202     }
203   }
204
205 *ptypeptr = pv;
206 return stype;
207 }
208
209
210
211 /*************************************************
212 *               Release cached resources         *
213 *************************************************/
214
215 /* When search_open is called it caches the "file" that it opens in
216 search_tree. The name of the tree node is a concatenation of the search type
217 with the file name. For query-style lookups, the file name is empty. Real files
218 are normally closed only when this tidyup routine is called, typically at the
219 end of sections of code where a number of lookups might occur. However, if too
220 many files are open simultaneously, some get closed beforehand. They can't be
221 removed from the tree. There is also a general tidyup function which is called
222 for the lookup driver, if it exists.
223
224 First, there is an internal, recursive subroutine.
225
226 Argument:    a pointer to a search_openfile tree node
227 Returns:     nothing
228 */
229
230 static void
231 tidyup_subtree(tree_node *t)
232 {
233 search_cache *c = (search_cache *)(t->data.ptr);
234 if (t->left != NULL) tidyup_subtree(t->left);
235 if (t->right != NULL) tidyup_subtree(t->right);
236 if (c != NULL &&
237     c->handle != NULL &&
238     lookup_list[c->search_type]->close != NULL)
239   lookup_list[c->search_type]->close(c->handle);
240 }
241
242
243 /* The external entry point
244
245 Argument: none
246 Returns:  nothing
247 */
248
249 void
250 search_tidyup(void)
251 {
252 int i;
253 int old_pool = store_pool;
254
255 DEBUG(D_lookup) debug_printf("search_tidyup called\n");
256
257 /* Close individually each cached open file. */
258
259 store_pool = POOL_SEARCH;
260 if (search_tree != NULL)
261   {
262   tidyup_subtree(search_tree);
263   search_tree = NULL;
264   }
265 open_top = open_bot = NULL;
266 open_filecount = 0;
267
268 /* Call the general tidyup entry for any drivers that have one. */
269
270 for (i = 0; i < lookup_list_count; i++)
271   if (lookup_list[i]->tidy != NULL) (lookup_list[i]->tidy)();
272
273 if (search_reset_point != NULL) store_reset(search_reset_point);
274 search_reset_point = NULL;
275 store_pool = old_pool;
276 }
277
278
279
280
281 /*************************************************
282 *             Open search database               *
283 *************************************************/
284
285 /* A mode, and lists of owners and groups, are passed over for checking in
286 the cases where the database is one or more files. Return NULL, with a message
287 pointed to by message, in cases of error.
288
289 For search types that use a file or files, check up on the mode after
290 opening. It is tempting to do a stat before opening the file, and use it as
291 an existence check. However, doing that opens a small security loophole in
292 that the status could be changed before the file is opened. Can't quite see
293 what problems this might lead to, but you can't be too careful where security
294 is concerned. Fstat() on an open file can normally be expected to succeed,
295 but there are some NFS states where it does not.
296
297 There are two styles of query: (1) in the "single-key+file" style, a single
298 key string and a file name are given, for example, for linear searches, DBM
299 files, or for NIS. (2) In the "query" style, no "filename" is given; instead
300 just a single query string is passed. This applies to multiple-key lookup
301 types such as NIS+.
302
303 Before opening, scan the tree of cached files to see if this file is already
304 open for the correct search type. If so, return the saved handle. If not, put
305 the handle in the tree for possible subsequent use. See search_tidyup above for
306 closing all the cached files.
307
308 A count of open databases which use real files is maintained, and if this
309 gets too large, we have to close a cached file. Its entry remains in the tree,
310 but is marked closed.
311
312 Arguments:
313   filename       the name of the file for single-key+file style lookups,
314                  NULL for query-style lookups
315   search_type    the type of search required
316   modemask       if a real single file is used, this specifies mode bits that
317                  must not be set; otherwise it is ignored
318   owners         if a real single file is used, this specifies the possible
319                  owners of the file; otherwise it is ignored
320   owngroups      if a real single file is used, this specifies the possible
321                  group owners of the file; otherwise it is ignored
322
323 Returns:         an identifying handle for the open database;
324                  this is the pointer to the tree block in the
325                  cache of open files; return NULL on open failure, with
326                  a message in search_error_message
327 */
328
329 void *
330 search_open(uschar *filename, int search_type, int modemask, uid_t *owners,
331   gid_t *owngroups)
332 {
333 void *handle;
334 tree_node *t;
335 search_cache *c;
336 lookup_info *lk = lookup_list[search_type];
337 uschar keybuffer[256];
338 int old_pool = store_pool;
339
340 /* Change to the search store pool and remember our reset point */
341
342 store_pool = POOL_SEARCH;
343 if (search_reset_point == NULL) search_reset_point = store_get(0);
344
345 DEBUG(D_lookup) debug_printf("search_open: %s \"%s\"\n", lk->name,
346   (filename == NULL)? US"NULL" : filename);
347
348 /* See if we already have this open for this type of search, and if so,
349 pass back the tree block as the handle. The key for the tree node is the search
350 type plus '0' concatenated with the file name. There may be entries in the tree
351 with closed files if a lot of files have been opened. */
352
353 sprintf(CS keybuffer, "%c%.254s", search_type + '0',
354   (filename == NULL)? US"" : filename);
355
356 if ((t = tree_search(search_tree, keybuffer)) != NULL)
357   {
358   c = (search_cache *)(t->data.ptr);
359   if (c->handle != NULL)
360     {
361     DEBUG(D_lookup) debug_printf("  cached open\n");
362     store_pool = old_pool;
363     return t;
364     }
365   DEBUG(D_lookup) debug_printf("  cached closed\n");
366   }
367
368 /* Otherwise, we need to open the file or database - each search type has its
369 own code, which is now split off into separately compiled modules. Before doing
370 this, if the search type is one that uses real files, check on the number that
371 we are holding open in the cache. If the limit is reached, close the least
372 recently used one. */
373
374 if (lk->type == lookup_absfile && open_filecount >= lookup_open_max)
375   {
376   if (open_bot == NULL)
377     log_write(0, LOG_MAIN|LOG_PANIC, "too many lookups open, but can't find "
378       "one to close");
379   else
380     {
381     search_cache *c = (search_cache *)(open_bot->data.ptr);
382     DEBUG(D_lookup) debug_printf("Too many lookup files open\n  closing %s\n",
383       open_bot->name);
384     open_bot = c->up;
385     if (open_bot != NULL)
386       ((search_cache *)(open_bot->data.ptr))->down = NULL;
387     else
388       open_top = NULL;
389     ((lookup_list[c->search_type])->close)(c->handle);
390     c->handle = NULL;
391     open_filecount--;
392     }
393   }
394
395 /* If opening is successful, call the file-checking function if there is one,
396 and if all is still well, enter the open database into the tree. */
397
398 handle = (lk->open)(filename, &search_error_message);
399 if (handle == NULL)
400   {
401   store_pool = old_pool;
402   return NULL;
403   }
404
405 if (lk->check != NULL &&
406    !lk->check(handle, filename, modemask, owners, owngroups,
407      &search_error_message))
408   {
409   lk->close(handle);
410   store_pool = old_pool;
411   return NULL;
412   }
413
414 /* If this is a search type that uses real files, keep count. */
415
416 if (lk->type == lookup_absfile) open_filecount++;
417
418 /* If we found a previously opened entry in the tree, re-use it; otherwise
419 insert a new entry. On re-use, leave any cached lookup data and the lookup
420 count alone. */
421
422 if (t == NULL)
423   {
424   t = store_get(sizeof(tree_node) + Ustrlen(keybuffer));
425   t->data.ptr = c = store_get(sizeof(search_cache));
426   c->item_cache = NULL;
427   Ustrcpy(t->name, keybuffer);
428   tree_insertnode(&search_tree, t);
429   }
430 else c = t->data.ptr;
431
432 c->handle = handle;
433 c->search_type = search_type;
434 c->up = c->down = NULL;
435
436 store_pool = old_pool;
437 return t;
438 }
439
440
441
442
443
444 /*************************************************
445 *  Internal function: Find one item in database  *
446 *************************************************/
447
448 /* The answer is always put into dynamic store. The last lookup for each handle
449 is cached.
450
451 Arguments:
452   handle       the handle from search_open; points to tree node
453   filename     the filename that was handed to search_open, or
454                NULL for query-style searches
455   keystring    the keystring for single-key+file lookups, or
456                the querystring for query-style lookups
457
458 Returns:       a pointer to a dynamic string containing the answer,
459                or NULL if the query failed or was deferred; in the
460                latter case, search_find_defer is set TRUE; after an unusual
461                failure, there may be a message in search_error_message.
462 */
463
464 static uschar *
465 internal_search_find(void *handle, uschar *filename, uschar *keystring)
466 {
467 tree_node *t = (tree_node *)handle;
468 search_cache *c = (search_cache *)(t->data.ptr);
469 expiring_data *e;
470 uschar *data = NULL;
471 int search_type = t->name[0] - '0';
472 int old_pool = store_pool;
473
474 /* Lookups that return DEFER may not always set an error message. So that
475 the callers don't have to test for NULL, set an empty string. */
476
477 search_error_message = US"";
478 search_find_defer = FALSE;
479
480 DEBUG(D_lookup) debug_printf("internal_search_find: file=\"%s\"\n  "
481   "type=%s key=\"%s\"\n", filename,
482   lookup_list[search_type]->name, keystring);
483
484 /* Insurance. If the keystring is empty, just fail. */
485
486 if (keystring[0] == 0) return NULL;
487
488 /* Use the special store pool for search data */
489
490 store_pool = POOL_SEARCH;
491
492 /* Look up the data for the key, unless it is already in the cache for this
493 file. No need to check c->item_cache for NULL, tree_search will do so. */
494
495 if (  (t = tree_search(c->item_cache, keystring))
496    && (!(e = t->data.ptr)->expiry || e->expiry > time(NULL))
497    )
498   { /* Data was in the cache already; set the pointer from the tree node */
499   data = e->ptr;
500   DEBUG(D_lookup) debug_printf("cached data used for lookup of %s%s%s\n",
501     keystring,
502     filename ? US"\n  in " : US"", filename ? filename : US"");
503   }
504 else
505   {
506   uint do_cache = UINT_MAX;
507   int keylength = Ustrlen(keystring);
508
509   DEBUG(D_lookup)
510     {
511     if (t) debug_printf("cached data found but past valid time; ");
512     debug_printf("%s lookup required for %s%s%s\n",
513       filename ? US"file" : US"database",
514       keystring,
515       filename ? US"\n  in " : US"", filename ? filename : US"");
516     }
517
518   /* Call the code for the different kinds of search. DEFER is handled
519   like FAIL, except that search_find_defer is set so the caller can
520   distinguish if necessary. */
521
522   if (lookup_list[search_type]->find(c->handle, filename, keystring, keylength,
523       &data, &search_error_message, &do_cache) == DEFER)
524     search_find_defer = TRUE;
525
526   /* A record that has been found is now in data, which is either NULL
527   or points to a bit of dynamic store. Cache the result of the lookup if
528   caching is permitted. Lookups can disable caching, when they did something
529   that changes their data. The mysql and pgsql lookups do this when an
530   UPDATE/INSERT query was executed. */
531
532   else if (do_cache)
533     {
534     int len = keylength + 1;
535
536     if (t)      /* Previous, out-of-date cache entry.  Update with the */
537       {         /* new result and forget the old one */
538       e->expiry = do_cache == UINT_MAX ? 0 : time(NULL)+do_cache;
539       e->ptr = data;
540       }
541     else
542       {
543       e = store_get(sizeof(expiring_data) + sizeof(tree_node) + len);
544       e->expiry = do_cache == UINT_MAX ? 0 : time(NULL)+do_cache;
545       e->ptr = data;
546       t = (tree_node *)(e+1);
547       memcpy(t->name, keystring, len);
548       t->data.ptr = e;
549       tree_insertnode(&c->item_cache, t);
550       }
551     }
552
553   /* If caching was disabled, empty the cache tree. We just set the cache
554   pointer to NULL here, because we cannot release the store at this stage. */
555
556   else
557     {
558     DEBUG(D_lookup) debug_printf("lookup forced cache cleanup\n");
559     c->item_cache = NULL;
560     }
561   }
562
563 DEBUG(D_lookup)
564   {
565   if (data)
566     debug_printf("lookup yielded: %s\n", data);
567   else if (search_find_defer)
568     debug_printf("lookup deferred: %s\n", search_error_message);
569   else debug_printf("lookup failed\n");
570   }
571
572 /* Return it in new dynamic store in the regular pool */
573
574 store_pool = old_pool;
575 return data ? string_copy(data) : NULL;
576 }
577
578
579
580
581 /*************************************************
582 * Find one item in database, possibly wildcarded *
583 *************************************************/
584
585 /* This function calls the internal function above; once only if there
586 is no partial matching, but repeatedly when partial matching is requested.
587
588 Arguments:
589   handle         the handle from search_open
590   filename       the filename that was handed to search_open, or
591                    NULL for query-style searches
592   keystring      the keystring for single-key+file lookups, or
593                    the querystring for query-style lookups
594   partial        -1 means no partial matching;
595                    otherwise it's the minimum number of components;
596   affix          the affix string for partial matching
597   affixlen       the length of the affix string
598   starflags      SEARCH_STAR and SEARCH_STARAT flags
599   expand_setup   pointer to offset for setting up expansion strings;
600                  don't do any if < 0
601
602 Returns:         a pointer to a dynamic string containing the answer,
603                  or NULL if the query failed or was deferred; in the
604                  latter case, search_find_defer is set TRUE
605 */
606
607 uschar *
608 search_find(void *handle, uschar *filename, uschar *keystring, int partial,
609   const uschar *affix, int affixlen, int starflags, int *expand_setup)
610 {
611 tree_node *t = (tree_node *)handle;
612 BOOL set_null_wild = FALSE;
613 uschar *yield;
614
615 DEBUG(D_lookup)
616   {
617   if (partial < 0) affixlen = 99;   /* So that "NULL" prints */
618   debug_printf("search_find: file=\"%s\"\n  key=\"%s\" "
619     "partial=%d affix=%.*s starflags=%x\n",
620     (filename == NULL)? US"NULL" : filename,
621     keystring, partial, affixlen, affix, starflags);
622   }
623
624 /* Arrange to put this database at the top of the LRU chain if it is a type
625 that opens real files. */
626
627 if (open_top != (tree_node *)handle &&
628     lookup_list[t->name[0]-'0']->type == lookup_absfile)
629   {
630   search_cache *c = (search_cache *)(t->data.ptr);
631   tree_node *up = c->up;
632   tree_node *down = c->down;
633
634   /* Cut it out of the list. A newly opened file will a NULL up pointer.
635   Otherwise there will be a non-NULL up pointer, since we checked above that
636   this block isn't already at the top of the list. */
637
638   if (up != NULL)
639     {
640     ((search_cache *)(up->data.ptr))->down = down;
641     if (down != NULL)
642       ((search_cache *)(down->data.ptr))->up = up;
643     else open_bot = up;
644     }
645
646   /* Now put it at the head of the list. */
647
648   c->up = NULL;
649   c->down = open_top;
650   if (open_top == NULL) open_bot = t; else
651     ((search_cache *)(open_top->data.ptr))->up = t;
652   open_top = t;
653   }
654
655 DEBUG(D_lookup)
656   {
657   tree_node *t = open_top;
658   debug_printf("LRU list:\n");
659   while (t != NULL)
660     {
661     search_cache *c = (search_cache *)(t->data.ptr);
662     debug_printf("  %s\n", t->name);
663     if (t == open_bot) debug_printf("  End\n");
664     t = c->down;
665     }
666   }
667
668 /* First of all, try to match the key string verbatim. If matched a complete
669 entry but could have been partial, flag to set up variables. */
670
671 yield = internal_search_find(handle, filename, keystring);
672 if (search_find_defer) return NULL;
673 if (yield != NULL) { if (partial >= 0) set_null_wild = TRUE; }
674
675 /* Not matched a complete entry; handle partial lookups, but only if the full
676 search didn't defer. Don't use string_sprintf() to construct the initial key,
677 just in case the original key is too long for the string_sprintf() buffer (it
678 *has* happened!). The case of a zero-length affix has to be treated specially.
679 */
680
681 else if (partial >= 0)
682   {
683   int len = Ustrlen(keystring);
684   uschar *keystring2;
685
686   /* Try with the affix on the front, except for a zero-length affix */
687
688   if (affixlen == 0) keystring2 = keystring; else
689     {
690     keystring2 = store_get(len + affixlen + 1);
691     Ustrncpy(keystring2, affix, affixlen);
692     Ustrcpy(keystring2 + affixlen, keystring);
693     DEBUG(D_lookup) debug_printf("trying partial match %s\n", keystring2);
694     yield = internal_search_find(handle, filename, keystring2);
695     if (search_find_defer) return NULL;
696     }
697
698   /* The key in its entirety did not match a wild entry; try chopping off
699   leading components. */
700
701   if (yield == NULL)
702     {
703     int dotcount = 0;
704     uschar *keystring3 = keystring2 + affixlen;
705     uschar *s = keystring3;
706     while (*s != 0) if (*s++ == '.') dotcount++;
707
708     while (dotcount-- >= partial)
709       {
710       while (*keystring3 != 0 && *keystring3 != '.') keystring3++;
711
712       /* If we get right to the end of the string (which will be the last time
713       through this loop), we've failed if the affix is null. Otherwise do one
714       last lookup for the affix itself, but if it is longer than 1 character,
715       remove the last character if it is ".". */
716
717       if (*keystring3 == 0)
718         {
719         if (affixlen < 1) break;
720         if (affixlen > 1 && affix[affixlen-1] == '.') affixlen--;
721         Ustrncpy(keystring2, affix, affixlen);
722         keystring2[affixlen] = 0;
723         keystring3 = keystring2;
724         }
725       else
726         {
727         keystring3 -= affixlen - 1;
728         if (affixlen > 0) Ustrncpy(keystring3, affix, affixlen);
729         }
730
731       DEBUG(D_lookup) debug_printf("trying partial match %s\n", keystring3);
732       yield = internal_search_find(handle, filename, keystring3);
733       if (search_find_defer) return NULL;
734       if (yield != NULL)
735         {
736         /* First variable is the wild part; second is the fixed part. Take care
737         to get it right when keystring3 is just "*". */
738
739         if (expand_setup != NULL && *expand_setup >= 0)
740           {
741           int fixedlength = Ustrlen(keystring3) - affixlen;
742           int wildlength = Ustrlen(keystring) - fixedlength - 1;
743           *expand_setup += 1;
744           expand_nstring[*expand_setup] = keystring;
745           expand_nlength[*expand_setup] = wildlength;
746           *expand_setup += 1;
747           expand_nstring[*expand_setup] = keystring + wildlength + 1;
748           expand_nlength[*expand_setup] = (fixedlength < 0)? 0 : fixedlength;
749           }
750         break;
751         }
752       keystring3 += affixlen;
753       }
754     }
755
756   else set_null_wild = TRUE; /* Matched a wild entry without any wild part */
757   }
758
759 /* If nothing has been matched, but the option to look for "*@" is set, try
760 replacing everything to the left of @ by *. After a match, the wild part
761 is set to the string to the left of the @. */
762
763 if (yield == NULL && (starflags & SEARCH_STARAT) != 0)
764   {
765   uschar *atat = Ustrrchr(keystring, '@');
766   if (atat != NULL && atat > keystring)
767     {
768     int savechar;
769     savechar = *(--atat);
770     *atat = '*';
771
772     DEBUG(D_lookup) debug_printf("trying default match %s\n", atat);
773     yield = internal_search_find(handle, filename, atat);
774     *atat = savechar;
775     if (search_find_defer) return NULL;
776
777     if (yield != NULL && expand_setup != NULL && *expand_setup >= 0)
778       {
779       *expand_setup += 1;
780       expand_nstring[*expand_setup] = keystring;
781       expand_nlength[*expand_setup] = atat - keystring + 1;
782       *expand_setup += 1;
783       expand_nstring[*expand_setup] = keystring;
784       expand_nlength[*expand_setup] = 0;
785       }
786     }
787   }
788
789 /* If we still haven't matched anything, and the option to look for "*" is set,
790 try that. If we do match, the first variable (the wild part) is the whole key,
791 and the second is empty. */
792
793 if (yield == NULL && (starflags & (SEARCH_STAR|SEARCH_STARAT)) != 0)
794   {
795   DEBUG(D_lookup) debug_printf("trying to match *\n");
796   yield = internal_search_find(handle, filename, US"*");
797   if (yield != NULL && expand_setup != NULL && *expand_setup >= 0)
798     {
799     *expand_setup += 1;
800     expand_nstring[*expand_setup] = keystring;
801     expand_nlength[*expand_setup] = Ustrlen(keystring);
802     *expand_setup += 1;
803     expand_nstring[*expand_setup] = keystring;
804     expand_nlength[*expand_setup] = 0;
805     }
806   }
807
808 /* If this was a potentially partial lookup, and we matched either a
809 complete non-wild domain entry, or we matched a wild-carded entry without
810 chopping off any of the domain components, set up the expansion variables
811 (if required) so that the first one is empty, and the second one is the
812 fixed part of the domain. The set_null_wild flag is set only when yield is not
813 NULL. */
814
815 if (set_null_wild && expand_setup != NULL && *expand_setup >= 0)
816   {
817   *expand_setup += 1;
818   expand_nstring[*expand_setup] = keystring;
819   expand_nlength[*expand_setup] = 0;
820   *expand_setup += 1;
821   expand_nstring[*expand_setup] = keystring;
822   expand_nlength[*expand_setup] = Ustrlen(keystring);
823   }
824
825 return yield;
826 }
827
828 /* End of search.c */