src/src/expand.c

   1 /*************************************************
   2 *     Exim - an Internet mail transport agent    *
   3 *************************************************/
   4
   5 /* Copyright (c) University of Cambridge 1995 - 2018 */
   6 /* See the file NOTICE for conditions of use and distribution. */
   7
   8
   9 /* Functions for handling string expansion. */
  10
  11
  12 #include "exim.h"
  13
  14 /* Recursively called function */
  15
  16 static uschar *expand_string_internal(const uschar *, BOOL, const uschar **, BOOL, BOOL, BOOL *);
  17 static int_eximarith_t expanded_string_integer(const uschar *, BOOL);
  18
  19 #ifdef STAND_ALONE
  20 # ifndef SUPPORT_CRYPTEQ
  21 #  define SUPPORT_CRYPTEQ
  22 # endif
  23 #endif
  24
  25 #ifdef LOOKUP_LDAP
  26 # include "lookups/ldap.h"
  27 #endif
  28
  29 #ifdef SUPPORT_CRYPTEQ
  30 # ifdef CRYPT_H
  31 #  include <crypt.h>
  32 # endif
  33 # ifndef HAVE_CRYPT16
  34 extern char* crypt16(char*, char*);
  35 # endif
  36 #endif
  37
  38 /* The handling of crypt16() is a mess. I will record below the analysis of the
  39 mess that was sent to me. We decided, however, to make changing this very low
  40 priority, because in practice people are moving away from the crypt()
  41 algorithms nowadays, so it doesn't seem worth it.
  42
  43 <quote>
  44 There is an algorithm named "crypt16" in Ultrix and Tru64.  It crypts
  45 the first 8 characters of the password using a 20-round version of crypt
  46 (standard crypt does 25 rounds).  It then crypts the next 8 characters,
  47 or an empty block if the password is less than 9 characters, using a
  48 20-round version of crypt and the same salt as was used for the first
  49 block.  Characters after the first 16 are ignored.  It always generates
  50 a 16-byte hash, which is expressed together with the salt as a string
  51 of 24 base 64 digits.  Here are some links to peruse:
  52
  53         http://cvs.pld.org.pl/pam/pamcrypt/crypt16.c?rev=1.2
  54         http://seclists.org/bugtraq/1999/Mar/0076.html
  55
  56 There's a different algorithm named "bigcrypt" in HP-UX, Digital Unix,
  57 and OSF/1.  This is the same as the standard crypt if given a password
  58 of 8 characters or less.  If given more, it first does the same as crypt
  59 using the first 8 characters, then crypts the next 8 (the 9th to 16th)
  60 using as salt the first two base 64 digits from the first hash block.
  61 If the password is more than 16 characters then it crypts the 17th to 24th
  62 characters using as salt the first two base 64 digits from the second hash
  63 block.  And so on: I've seen references to it cutting off the password at
  64 40 characters (5 blocks), 80 (10 blocks), or 128 (16 blocks).  Some links:
  65
  66         http://cvs.pld.org.pl/pam/pamcrypt/bigcrypt.c?rev=1.2
  67         http://seclists.org/bugtraq/1999/Mar/0109.html
  68         http://h30097.www3.hp.com/docs/base_doc/DOCUMENTATION/HTML/AA-Q0R2D-
  69              TET1_html/sec.c222.html#no_id_208
  70
  71 Exim has something it calls "crypt16".  It will either use a native
  72 crypt16 or its own implementation.  A native crypt16 will presumably
  73 be the one that I called "crypt16" above.  The internal "crypt16"
  74 function, however, is a two-block-maximum implementation of what I called
  75 "bigcrypt".  The documentation matches the internal code.
  76
  77 I suspect that whoever did the "crypt16" stuff for Exim didn't realise
  78 that crypt16 and bigcrypt were different things.
  79
  80 Exim uses the LDAP-style scheme identifier "{crypt16}" to refer
  81 to whatever it is using under that name.  This unfortunately sets a
  82 precedent for using "{crypt16}" to identify two incompatible algorithms
  83 whose output can't be distinguished.  With "{crypt16}" thus rendered
  84 ambiguous, I suggest you deprecate it and invent two new identifiers
  85 for the two algorithms.
  86
  87 Both crypt16 and bigcrypt are very poor algorithms, btw.  Hashing parts
  88 of the password separately means they can be cracked separately, so
  89 the double-length hash only doubles the cracking effort instead of
  90 squaring it.  I recommend salted SHA-1 ({SSHA}), or the Blowfish-based
  91 bcrypt ({CRYPT}$2a$).
  92 </quote>
  93 */
  94
  95
  96
  97 /*************************************************
  98 *            Local statics and tables            *
  99 *************************************************/
 100
 101 /* Table of item names, and corresponding switch numbers. The names must be in
 102 alphabetical order. */
 103
 104 static uschar *item_table[] = {
 105   US"acl",
 106   US"authresults",
 107   US"certextract",
 108   US"dlfunc",
 109   US"env",
 110   US"extract",
 111   US"filter",
 112   US"hash",
 113   US"hmac",
 114   US"if",
 115 #ifdef SUPPORT_I18N
 116   US"imapfolder",
 117 #endif
 118   US"length",
 119   US"listextract",
 120   US"lookup",
 121   US"map",
 122   US"nhash",
 123   US"perl",
 124   US"prvs",
 125   US"prvscheck",
 126   US"readfile",
 127   US"readsocket",
 128   US"reduce",
 129   US"run",
 130   US"sg",
 131   US"sort",
 132   US"substr",
 133   US"tr" };
 134
 135 enum {
 136   EITEM_ACL,
 137   EITEM_AUTHRESULTS,
 138   EITEM_CERTEXTRACT,
 139   EITEM_DLFUNC,
 140   EITEM_ENV,
 141   EITEM_EXTRACT,
 142   EITEM_FILTER,
 143   EITEM_HASH,
 144   EITEM_HMAC,
 145   EITEM_IF,
 146 #ifdef SUPPORT_I18N
 147   EITEM_IMAPFOLDER,
 148 #endif
 149   EITEM_LENGTH,
 150   EITEM_LISTEXTRACT,
 151   EITEM_LOOKUP,
 152   EITEM_MAP,
 153   EITEM_NHASH,
 154   EITEM_PERL,
 155   EITEM_PRVS,
 156   EITEM_PRVSCHECK,
 157   EITEM_READFILE,
 158   EITEM_READSOCK,
 159   EITEM_REDUCE,
 160   EITEM_RUN,
 161   EITEM_SG,
 162   EITEM_SORT,
 163   EITEM_SUBSTR,
 164   EITEM_TR };
 165
 166 /* Tables of operator names, and corresponding switch numbers. The names must be
 167 in alphabetical order. There are two tables, because underscore is used in some
 168 cases to introduce arguments, whereas for other it is part of the name. This is
 169 an historical mis-design. */
 170
 171 static uschar *op_table_underscore[] = {
 172   US"from_utf8",
 173   US"local_part",
 174   US"quote_local_part",
 175   US"reverse_ip",
 176   US"time_eval",
 177   US"time_interval"
 178 #ifdef SUPPORT_I18N
 179  ,US"utf8_domain_from_alabel",
 180   US"utf8_domain_to_alabel",
 181   US"utf8_localpart_from_alabel",
 182   US"utf8_localpart_to_alabel"
 183 #endif
 184   };
 185
 186 enum {
 187   EOP_FROM_UTF8,
 188   EOP_LOCAL_PART,
 189   EOP_QUOTE_LOCAL_PART,
 190   EOP_REVERSE_IP,
 191   EOP_TIME_EVAL,
 192   EOP_TIME_INTERVAL
 193 #ifdef SUPPORT_I18N
 194  ,EOP_UTF8_DOMAIN_FROM_ALABEL,
 195   EOP_UTF8_DOMAIN_TO_ALABEL,
 196   EOP_UTF8_LOCALPART_FROM_ALABEL,
 197   EOP_UTF8_LOCALPART_TO_ALABEL
 198 #endif
 199   };
 200
 201 static uschar *op_table_main[] = {
 202   US"address",
 203   US"addresses",
 204   US"base32",
 205   US"base32d",
 206   US"base62",
 207   US"base62d",
 208   US"base64",
 209   US"base64d",
 210   US"domain",
 211   US"escape",
 212   US"escape8bit",
 213   US"eval",
 214   US"eval10",
 215   US"expand",
 216   US"h",
 217   US"hash",
 218   US"hex2b64",
 219   US"hexquote",
 220   US"ipv6denorm",
 221   US"ipv6norm",
 222   US"l",
 223   US"lc",
 224   US"length",
 225   US"listcount",
 226   US"listnamed",
 227   US"mask",
 228   US"md5",
 229   US"nh",
 230   US"nhash",
 231   US"quote",
 232   US"randint",
 233   US"rfc2047",
 234   US"rfc2047d",
 235   US"rxquote",
 236   US"s",
 237   US"sha1",
 238   US"sha256",
 239   US"sha3",
 240   US"stat",
 241   US"str2b64",
 242   US"strlen",
 243   US"substr",
 244   US"uc",
 245   US"utf8clean" };
 246
 247 enum {
 248   EOP_ADDRESS =  nelem(op_table_underscore),
 249   EOP_ADDRESSES,
 250   EOP_BASE32,
 251   EOP_BASE32D,
 252   EOP_BASE62,
 253   EOP_BASE62D,
 254   EOP_BASE64,
 255   EOP_BASE64D,
 256   EOP_DOMAIN,
 257   EOP_ESCAPE,
 258   EOP_ESCAPE8BIT,
 259   EOP_EVAL,
 260   EOP_EVAL10,
 261   EOP_EXPAND,
 262   EOP_H,
 263   EOP_HASH,
 264   EOP_HEX2B64,
 265   EOP_HEXQUOTE,
 266   EOP_IPV6DENORM,
 267   EOP_IPV6NORM,
 268   EOP_L,
 269   EOP_LC,
 270   EOP_LENGTH,
 271   EOP_LISTCOUNT,
 272   EOP_LISTNAMED,
 273   EOP_MASK,
 274   EOP_MD5,
 275   EOP_NH,
 276   EOP_NHASH,
 277   EOP_QUOTE,
 278   EOP_RANDINT,
 279   EOP_RFC2047,
 280   EOP_RFC2047D,
 281   EOP_RXQUOTE,
 282   EOP_S,
 283   EOP_SHA1,
 284   EOP_SHA256,
 285   EOP_SHA3,
 286   EOP_STAT,
 287   EOP_STR2B64,
 288   EOP_STRLEN,
 289   EOP_SUBSTR,
 290   EOP_UC,
 291   EOP_UTF8CLEAN };
 292
 293
 294 /* Table of condition names, and corresponding switch numbers. The names must
 295 be in alphabetical order. */
 296
 297 static uschar *cond_table[] = {
 298   US"<",
 299   US"<=",
 300   US"=",
 301   US"==",     /* Backward compatibility */
 302   US">",
 303   US">=",
 304   US"acl",
 305   US"and",
 306   US"bool",
 307   US"bool_lax",
 308   US"crypteq",
 309   US"def",
 310   US"eq",
 311   US"eqi",
 312   US"exists",
 313   US"first_delivery",
 314   US"forall",
 315   US"forany",
 316   US"ge",
 317   US"gei",
 318   US"gt",
 319   US"gti",
 320   US"inlist",
 321   US"inlisti",
 322   US"isip",
 323   US"isip4",
 324   US"isip6",
 325   US"ldapauth",
 326   US"le",
 327   US"lei",
 328   US"lt",
 329   US"lti",
 330   US"match",
 331   US"match_address",
 332   US"match_domain",
 333   US"match_ip",
 334   US"match_local_part",
 335   US"or",
 336   US"pam",
 337   US"pwcheck",
 338   US"queue_running",
 339   US"radius",
 340   US"saslauthd"
 341 };
 342
 343 enum {
 344   ECOND_NUM_L,
 345   ECOND_NUM_LE,
 346   ECOND_NUM_E,
 347   ECOND_NUM_EE,
 348   ECOND_NUM_G,
 349   ECOND_NUM_GE,
 350   ECOND_ACL,
 351   ECOND_AND,
 352   ECOND_BOOL,
 353   ECOND_BOOL_LAX,
 354   ECOND_CRYPTEQ,
 355   ECOND_DEF,
 356   ECOND_STR_EQ,
 357   ECOND_STR_EQI,
 358   ECOND_EXISTS,
 359   ECOND_FIRST_DELIVERY,
 360   ECOND_FORALL,
 361   ECOND_FORANY,
 362   ECOND_STR_GE,
 363   ECOND_STR_GEI,
 364   ECOND_STR_GT,
 365   ECOND_STR_GTI,
 366   ECOND_INLIST,
 367   ECOND_INLISTI,
 368   ECOND_ISIP,
 369   ECOND_ISIP4,
 370   ECOND_ISIP6,
 371   ECOND_LDAPAUTH,
 372   ECOND_STR_LE,
 373   ECOND_STR_LEI,
 374   ECOND_STR_LT,
 375   ECOND_STR_LTI,
 376   ECOND_MATCH,
 377   ECOND_MATCH_ADDRESS,
 378   ECOND_MATCH_DOMAIN,
 379   ECOND_MATCH_IP,
 380   ECOND_MATCH_LOCAL_PART,
 381   ECOND_OR,
 382   ECOND_PAM,
 383   ECOND_PWCHECK,
 384   ECOND_QUEUE_RUNNING,
 385   ECOND_RADIUS,
 386   ECOND_SASLAUTHD
 387 };
 388
 389
 390 /* Types of table entry */
 391
 392 enum vtypes {
 393   vtype_int,            /* value is address of int */
 394   vtype_filter_int,     /* ditto, but recognized only when filtering */
 395   vtype_ino,            /* value is address of ino_t (not always an int) */
 396   vtype_uid,            /* value is address of uid_t (not always an int) */
 397   vtype_gid,            /* value is address of gid_t (not always an int) */
 398   vtype_bool,           /* value is address of bool */
 399   vtype_stringptr,      /* value is address of pointer to string */
 400   vtype_msgbody,        /* as stringptr, but read when first required */
 401   vtype_msgbody_end,    /* ditto, the end of the message */
 402   vtype_msgheaders,     /* the message's headers, processed */
 403   vtype_msgheaders_raw, /* the message's headers, unprocessed */
 404   vtype_localpart,      /* extract local part from string */
 405   vtype_domain,         /* extract domain from string */
 406   vtype_string_func,    /* value is string returned by given function */
 407   vtype_todbsdin,       /* value not used; generate BSD inbox tod */
 408   vtype_tode,           /* value not used; generate tod in epoch format */
 409   vtype_todel,          /* value not used; generate tod in epoch/usec format */
 410   vtype_todf,           /* value not used; generate full tod */
 411   vtype_todl,           /* value not used; generate log tod */
 412   vtype_todlf,          /* value not used; generate log file datestamp tod */
 413   vtype_todzone,        /* value not used; generate time zone only */
 414   vtype_todzulu,        /* value not used; generate zulu tod */
 415   vtype_reply,          /* value not used; get reply from headers */
 416   vtype_pid,            /* value not used; result is pid */
 417   vtype_host_lookup,    /* value not used; get host name */
 418   vtype_load_avg,       /* value not used; result is int from os_getloadavg */
 419   vtype_pspace,         /* partition space; value is T/F for spool/log */
 420   vtype_pinodes,        /* partition inodes; value is T/F for spool/log */
 421   vtype_cert            /* SSL certificate */
 422   #ifndef DISABLE_DKIM
 423   ,vtype_dkim           /* Lookup of value in DKIM signature */
 424   #endif
 425 };
 426
 427 /* Type for main variable table */
 428
 429 typedef struct {
 430   const char *name;
 431   enum vtypes type;
 432   void       *value;
 433 } var_entry;
 434
 435 /* Type for entries pointing to address/length pairs. Not currently
 436 in use. */
 437
 438 typedef struct {
 439   uschar **address;
 440   int  *length;
 441 } alblock;
 442
 443 static uschar * fn_recipients(void);
 444
 445 /* This table must be kept in alphabetical order. */
 446
 447 static var_entry var_table[] = {
 448   /* WARNING: Do not invent variables whose names start acl_c or acl_m because
 449      they will be confused with user-creatable ACL variables. */
 450   { "acl_arg1",            vtype_stringptr,   &acl_arg[0] },
 451   { "acl_arg2",            vtype_stringptr,   &acl_arg[1] },
 452   { "acl_arg3",            vtype_stringptr,   &acl_arg[2] },
 453   { "acl_arg4",            vtype_stringptr,   &acl_arg[3] },
 454   { "acl_arg5",            vtype_stringptr,   &acl_arg[4] },
 455   { "acl_arg6",            vtype_stringptr,   &acl_arg[5] },
 456   { "acl_arg7",            vtype_stringptr,   &acl_arg[6] },
 457   { "acl_arg8",            vtype_stringptr,   &acl_arg[7] },
 458   { "acl_arg9",            vtype_stringptr,   &acl_arg[8] },
 459   { "acl_narg",            vtype_int,         &acl_narg },
 460   { "acl_verify_message",  vtype_stringptr,   &acl_verify_message },
 461   { "address_data",        vtype_stringptr,   &deliver_address_data },
 462   { "address_file",        vtype_stringptr,   &address_file },
 463   { "address_pipe",        vtype_stringptr,   &address_pipe },
 464 #ifdef EXPERIMENTAL_ARC
 465   { "arc_domains",         vtype_string_func, &fn_arc_domains },
 466   { "arc_oldest_pass",     vtype_int,         &arc_oldest_pass },
 467   { "arc_state",           vtype_stringptr,   &arc_state },
 468   { "arc_state_reason",    vtype_stringptr,   &arc_state_reason },
 469 #endif
 470   { "authenticated_fail_id",vtype_stringptr,  &authenticated_fail_id },
 471   { "authenticated_id",    vtype_stringptr,   &authenticated_id },
 472   { "authenticated_sender",vtype_stringptr,   &authenticated_sender },
 473   { "authentication_failed",vtype_int,        &authentication_failed },
 474 #ifdef WITH_CONTENT_SCAN
 475   { "av_failed",           vtype_int,         &av_failed },
 476 #endif
 477 #ifdef EXPERIMENTAL_BRIGHTMAIL
 478   { "bmi_alt_location",    vtype_stringptr,   &bmi_alt_location },
 479   { "bmi_base64_tracker_verdict", vtype_stringptr, &bmi_base64_tracker_verdict },
 480   { "bmi_base64_verdict",  vtype_stringptr,   &bmi_base64_verdict },
 481   { "bmi_deliver",         vtype_int,         &bmi_deliver },
 482 #endif
 483   { "body_linecount",      vtype_int,         &body_linecount },
 484   { "body_zerocount",      vtype_int,         &body_zerocount },
 485   { "bounce_recipient",    vtype_stringptr,   &bounce_recipient },
 486   { "bounce_return_size_limit", vtype_int,    &bounce_return_size_limit },
 487   { "caller_gid",          vtype_gid,         &real_gid },
 488   { "caller_uid",          vtype_uid,         &real_uid },
 489   { "callout_address",     vtype_stringptr,   &callout_address },
 490   { "compile_date",        vtype_stringptr,   &version_date },
 491   { "compile_number",      vtype_stringptr,   &version_cnumber },
 492   { "config_dir",          vtype_stringptr,   &config_main_directory },
 493   { "config_file",         vtype_stringptr,   &config_main_filename },
 494   { "csa_status",          vtype_stringptr,   &csa_status },
 495 #ifdef EXPERIMENTAL_DCC
 496   { "dcc_header",          vtype_stringptr,   &dcc_header },
 497   { "dcc_result",          vtype_stringptr,   &dcc_result },
 498 #endif
 499 #ifndef DISABLE_DKIM
 500   { "dkim_algo",           vtype_dkim,        (void *)DKIM_ALGO },
 501   { "dkim_bodylength",     vtype_dkim,        (void *)DKIM_BODYLENGTH },
 502   { "dkim_canon_body",     vtype_dkim,        (void *)DKIM_CANON_BODY },
 503   { "dkim_canon_headers",  vtype_dkim,        (void *)DKIM_CANON_HEADERS },
 504   { "dkim_copiedheaders",  vtype_dkim,        (void *)DKIM_COPIEDHEADERS },
 505   { "dkim_created",        vtype_dkim,        (void *)DKIM_CREATED },
 506   { "dkim_cur_signer",     vtype_stringptr,   &dkim_cur_signer },
 507   { "dkim_domain",         vtype_stringptr,   &dkim_signing_domain },
 508   { "dkim_expires",        vtype_dkim,        (void *)DKIM_EXPIRES },
 509   { "dkim_headernames",    vtype_dkim,        (void *)DKIM_HEADERNAMES },
 510   { "dkim_identity",       vtype_dkim,        (void *)DKIM_IDENTITY },
 511   { "dkim_key_granularity",vtype_dkim,        (void *)DKIM_KEY_GRANULARITY },
 512   { "dkim_key_length",     vtype_int,         &dkim_key_length },
 513   { "dkim_key_nosubdomains",vtype_dkim,       (void *)DKIM_NOSUBDOMAINS },
 514   { "dkim_key_notes",      vtype_dkim,        (void *)DKIM_KEY_NOTES },
 515   { "dkim_key_srvtype",    vtype_dkim,        (void *)DKIM_KEY_SRVTYPE },
 516   { "dkim_key_testing",    vtype_dkim,        (void *)DKIM_KEY_TESTING },
 517   { "dkim_selector",       vtype_stringptr,   &dkim_signing_selector },
 518   { "dkim_signers",        vtype_stringptr,   &dkim_signers },
 519   { "dkim_verify_reason",  vtype_stringptr,   &dkim_verify_reason },
 520   { "dkim_verify_status",  vtype_stringptr,   &dkim_verify_status },
 521 #endif
 522 #ifdef EXPERIMENTAL_DMARC
 523   { "dmarc_domain_policy", vtype_stringptr,   &dmarc_domain_policy },
 524   { "dmarc_status",        vtype_stringptr,   &dmarc_status },
 525   { "dmarc_status_text",   vtype_stringptr,   &dmarc_status_text },
 526   { "dmarc_used_domain",   vtype_stringptr,   &dmarc_used_domain },
 527 #endif
 528   { "dnslist_domain",      vtype_stringptr,   &dnslist_domain },
 529   { "dnslist_matched",     vtype_stringptr,   &dnslist_matched },
 530   { "dnslist_text",        vtype_stringptr,   &dnslist_text },
 531   { "dnslist_value",       vtype_stringptr,   &dnslist_value },
 532   { "domain",              vtype_stringptr,   &deliver_domain },
 533   { "domain_data",         vtype_stringptr,   &deliver_domain_data },
 534 #ifndef DISABLE_EVENT
 535   { "event_data",          vtype_stringptr,   &event_data },
 536
 537   /*XXX want to use generic vars for as many of these as possible*/
 538   { "event_defer_errno",   vtype_int,         &event_defer_errno },
 539
 540   { "event_name",          vtype_stringptr,   &event_name },
 541 #endif
 542   { "exim_gid",            vtype_gid,         &exim_gid },
 543   { "exim_path",           vtype_stringptr,   &exim_path },
 544   { "exim_uid",            vtype_uid,         &exim_uid },
 545   { "exim_version",        vtype_stringptr,   &version_string },
 546   { "headers_added",       vtype_string_func, &fn_hdrs_added },
 547   { "home",                vtype_stringptr,   &deliver_home },
 548   { "host",                vtype_stringptr,   &deliver_host },
 549   { "host_address",        vtype_stringptr,   &deliver_host_address },
 550   { "host_data",           vtype_stringptr,   &host_data },
 551   { "host_lookup_deferred",vtype_int,         &host_lookup_deferred },
 552   { "host_lookup_failed",  vtype_int,         &host_lookup_failed },
 553   { "host_port",           vtype_int,         &deliver_host_port },
 554   { "initial_cwd",         vtype_stringptr,   &initial_cwd },
 555   { "inode",               vtype_ino,         &deliver_inode },
 556   { "interface_address",   vtype_stringptr,   &interface_address },
 557   { "interface_port",      vtype_int,         &interface_port },
 558   { "item",                vtype_stringptr,   &iterate_item },
 559   #ifdef LOOKUP_LDAP
 560   { "ldap_dn",             vtype_stringptr,   &eldap_dn },
 561   #endif
 562   { "load_average",        vtype_load_avg,    NULL },
 563   { "local_part",          vtype_stringptr,   &deliver_localpart },
 564   { "local_part_data",     vtype_stringptr,   &deliver_localpart_data },
 565   { "local_part_prefix",   vtype_stringptr,   &deliver_localpart_prefix },
 566   { "local_part_suffix",   vtype_stringptr,   &deliver_localpart_suffix },
 567 #ifdef HAVE_LOCAL_SCAN
 568   { "local_scan_data",     vtype_stringptr,   &local_scan_data },
 569 #endif
 570   { "local_user_gid",      vtype_gid,         &local_user_gid },
 571   { "local_user_uid",      vtype_uid,         &local_user_uid },
 572   { "localhost_number",    vtype_int,         &host_number },
 573   { "log_inodes",          vtype_pinodes,     (void *)FALSE },
 574   { "log_space",           vtype_pspace,      (void *)FALSE },
 575   { "lookup_dnssec_authenticated",vtype_stringptr,&lookup_dnssec_authenticated},
 576   { "mailstore_basename",  vtype_stringptr,   &mailstore_basename },
 577 #ifdef WITH_CONTENT_SCAN
 578   { "malware_name",        vtype_stringptr,   &malware_name },
 579 #endif
 580   { "max_received_linelength", vtype_int,     &max_received_linelength },
 581   { "message_age",         vtype_int,         &message_age },
 582   { "message_body",        vtype_msgbody,     &message_body },
 583   { "message_body_end",    vtype_msgbody_end, &message_body_end },
 584   { "message_body_size",   vtype_int,         &message_body_size },
 585   { "message_exim_id",     vtype_stringptr,   &message_id },
 586   { "message_headers",     vtype_msgheaders,  NULL },
 587   { "message_headers_raw", vtype_msgheaders_raw, NULL },
 588   { "message_id",          vtype_stringptr,   &message_id },
 589   { "message_linecount",   vtype_int,         &message_linecount },
 590   { "message_size",        vtype_int,         &message_size },
 591 #ifdef SUPPORT_I18N
 592   { "message_smtputf8",    vtype_bool,        &message_smtputf8 },
 593 #endif
 594 #ifdef WITH_CONTENT_SCAN
 595   { "mime_anomaly_level",  vtype_int,         &mime_anomaly_level },
 596   { "mime_anomaly_text",   vtype_stringptr,   &mime_anomaly_text },
 597   { "mime_boundary",       vtype_stringptr,   &mime_boundary },
 598   { "mime_charset",        vtype_stringptr,   &mime_charset },
 599   { "mime_content_description", vtype_stringptr, &mime_content_description },
 600   { "mime_content_disposition", vtype_stringptr, &mime_content_disposition },
 601   { "mime_content_id",     vtype_stringptr,   &mime_content_id },
 602   { "mime_content_size",   vtype_int,         &mime_content_size },
 603   { "mime_content_transfer_encoding",vtype_stringptr, &mime_content_transfer_encoding },
 604   { "mime_content_type",   vtype_stringptr,   &mime_content_type },
 605   { "mime_decoded_filename", vtype_stringptr, &mime_decoded_filename },
 606   { "mime_filename",       vtype_stringptr,   &mime_filename },
 607   { "mime_is_coverletter", vtype_int,         &mime_is_coverletter },
 608   { "mime_is_multipart",   vtype_int,         &mime_is_multipart },
 609   { "mime_is_rfc822",      vtype_int,         &mime_is_rfc822 },
 610   { "mime_part_count",     vtype_int,         &mime_part_count },
 611 #endif
 612   { "n0",                  vtype_filter_int,  &filter_n[0] },
 613   { "n1",                  vtype_filter_int,  &filter_n[1] },
 614   { "n2",                  vtype_filter_int,  &filter_n[2] },
 615   { "n3",                  vtype_filter_int,  &filter_n[3] },
 616   { "n4",                  vtype_filter_int,  &filter_n[4] },
 617   { "n5",                  vtype_filter_int,  &filter_n[5] },
 618   { "n6",                  vtype_filter_int,  &filter_n[6] },
 619   { "n7",                  vtype_filter_int,  &filter_n[7] },
 620   { "n8",                  vtype_filter_int,  &filter_n[8] },
 621   { "n9",                  vtype_filter_int,  &filter_n[9] },
 622   { "original_domain",     vtype_stringptr,   &deliver_domain_orig },
 623   { "original_local_part", vtype_stringptr,   &deliver_localpart_orig },
 624   { "originator_gid",      vtype_gid,         &originator_gid },
 625   { "originator_uid",      vtype_uid,         &originator_uid },
 626   { "parent_domain",       vtype_stringptr,   &deliver_domain_parent },
 627   { "parent_local_part",   vtype_stringptr,   &deliver_localpart_parent },
 628   { "pid",                 vtype_pid,         NULL },
 629 #ifndef DISABLE_PRDR
 630   { "prdr_requested",      vtype_bool,        &prdr_requested },
 631 #endif
 632   { "primary_hostname",    vtype_stringptr,   &primary_hostname },
 633 #if defined(SUPPORT_PROXY) || defined(SUPPORT_SOCKS)
 634   { "proxy_external_address",vtype_stringptr, &proxy_external_address },
 635   { "proxy_external_port", vtype_int,         &proxy_external_port },
 636   { "proxy_local_address", vtype_stringptr,   &proxy_local_address },
 637   { "proxy_local_port",    vtype_int,         &proxy_local_port },
 638   { "proxy_session",       vtype_bool,        &proxy_session },
 639 #endif
 640   { "prvscheck_address",   vtype_stringptr,   &prvscheck_address },
 641   { "prvscheck_keynum",    vtype_stringptr,   &prvscheck_keynum },
 642   { "prvscheck_result",    vtype_stringptr,   &prvscheck_result },
 643   { "qualify_domain",      vtype_stringptr,   &qualify_domain_sender },
 644   { "qualify_recipient",   vtype_stringptr,   &qualify_domain_recipient },
 645   { "queue_name",          vtype_stringptr,   &queue_name },
 646   { "rcpt_count",          vtype_int,         &rcpt_count },
 647   { "rcpt_defer_count",    vtype_int,         &rcpt_defer_count },
 648   { "rcpt_fail_count",     vtype_int,         &rcpt_fail_count },
 649   { "received_count",      vtype_int,         &received_count },
 650   { "received_for",        vtype_stringptr,   &received_for },
 651   { "received_ip_address", vtype_stringptr,   &interface_address },
 652   { "received_port",       vtype_int,         &interface_port },
 653   { "received_protocol",   vtype_stringptr,   &received_protocol },
 654   { "received_time",       vtype_int,         &received_time.tv_sec },
 655   { "recipient_data",      vtype_stringptr,   &recipient_data },
 656   { "recipient_verify_failure",vtype_stringptr,&recipient_verify_failure },
 657   { "recipients",          vtype_string_func, &fn_recipients },
 658   { "recipients_count",    vtype_int,         &recipients_count },
 659 #ifdef WITH_CONTENT_SCAN
 660   { "regex_match_string",  vtype_stringptr,   &regex_match_string },
 661 #endif
 662   { "reply_address",       vtype_reply,       NULL },
 663   { "return_path",         vtype_stringptr,   &return_path },
 664   { "return_size_limit",   vtype_int,         &bounce_return_size_limit },
 665   { "router_name",         vtype_stringptr,   &router_name },
 666   { "runrc",               vtype_int,         &runrc },
 667   { "self_hostname",       vtype_stringptr,   &self_hostname },
 668   { "sender_address",      vtype_stringptr,   &sender_address },
 669   { "sender_address_data", vtype_stringptr,   &sender_address_data },
 670   { "sender_address_domain", vtype_domain,    &sender_address },
 671   { "sender_address_local_part", vtype_localpart, &sender_address },
 672   { "sender_data",         vtype_stringptr,   &sender_data },
 673   { "sender_fullhost",     vtype_stringptr,   &sender_fullhost },
 674   { "sender_helo_dnssec",  vtype_bool,        &sender_helo_dnssec },
 675   { "sender_helo_name",    vtype_stringptr,   &sender_helo_name },
 676   { "sender_host_address", vtype_stringptr,   &sender_host_address },
 677   { "sender_host_authenticated",vtype_stringptr, &sender_host_authenticated },
 678   { "sender_host_dnssec",  vtype_bool,        &sender_host_dnssec },
 679   { "sender_host_name",    vtype_host_lookup, NULL },
 680   { "sender_host_port",    vtype_int,         &sender_host_port },
 681   { "sender_ident",        vtype_stringptr,   &sender_ident },
 682   { "sender_rate",         vtype_stringptr,   &sender_rate },
 683   { "sender_rate_limit",   vtype_stringptr,   &sender_rate_limit },
 684   { "sender_rate_period",  vtype_stringptr,   &sender_rate_period },
 685   { "sender_rcvhost",      vtype_stringptr,   &sender_rcvhost },
 686   { "sender_verify_failure",vtype_stringptr,  &sender_verify_failure },
 687   { "sending_ip_address",  vtype_stringptr,   &sending_ip_address },
 688   { "sending_port",        vtype_int,         &sending_port },
 689   { "smtp_active_hostname", vtype_stringptr,  &smtp_active_hostname },
 690   { "smtp_command",        vtype_stringptr,   &smtp_cmd_buffer },
 691   { "smtp_command_argument", vtype_stringptr, &smtp_cmd_argument },
 692   { "smtp_command_history", vtype_string_func, &smtp_cmd_hist },
 693   { "smtp_count_at_connection_start", vtype_int, &smtp_accept_count },
 694   { "smtp_notquit_reason", vtype_stringptr,   &smtp_notquit_reason },
 695   { "sn0",                 vtype_filter_int,  &filter_sn[0] },
 696   { "sn1",                 vtype_filter_int,  &filter_sn[1] },
 697   { "sn2",                 vtype_filter_int,  &filter_sn[2] },
 698   { "sn3",                 vtype_filter_int,  &filter_sn[3] },
 699   { "sn4",                 vtype_filter_int,  &filter_sn[4] },
 700   { "sn5",                 vtype_filter_int,  &filter_sn[5] },
 701   { "sn6",                 vtype_filter_int,  &filter_sn[6] },
 702   { "sn7",                 vtype_filter_int,  &filter_sn[7] },
 703   { "sn8",                 vtype_filter_int,  &filter_sn[8] },
 704   { "sn9",                 vtype_filter_int,  &filter_sn[9] },
 705 #ifdef WITH_CONTENT_SCAN
 706   { "spam_action",         vtype_stringptr,   &spam_action },
 707   { "spam_bar",            vtype_stringptr,   &spam_bar },
 708   { "spam_report",         vtype_stringptr,   &spam_report },
 709   { "spam_score",          vtype_stringptr,   &spam_score },
 710   { "spam_score_int",      vtype_stringptr,   &spam_score_int },
 711 #endif
 712 #ifdef SUPPORT_SPF
 713   { "spf_guess",           vtype_stringptr,   &spf_guess },
 714   { "spf_header_comment",  vtype_stringptr,   &spf_header_comment },
 715   { "spf_received",        vtype_stringptr,   &spf_received },
 716   { "spf_result",          vtype_stringptr,   &spf_result },
 717   { "spf_result_guessed",  vtype_bool,        &spf_result_guessed },
 718   { "spf_smtp_comment",    vtype_stringptr,   &spf_smtp_comment },
 719 #endif
 720   { "spool_directory",     vtype_stringptr,   &spool_directory },
 721   { "spool_inodes",        vtype_pinodes,     (void *)TRUE },
 722   { "spool_space",         vtype_pspace,      (void *)TRUE },
 723 #ifdef EXPERIMENTAL_SRS
 724   { "srs_db_address",      vtype_stringptr,   &srs_db_address },
 725   { "srs_db_key",          vtype_stringptr,   &srs_db_key },
 726   { "srs_orig_recipient",  vtype_stringptr,   &srs_orig_recipient },
 727   { "srs_orig_sender",     vtype_stringptr,   &srs_orig_sender },
 728   { "srs_recipient",       vtype_stringptr,   &srs_recipient },
 729   { "srs_status",          vtype_stringptr,   &srs_status },
 730 #endif
 731   { "thisaddress",         vtype_stringptr,   &filter_thisaddress },
 732
 733   /* The non-(in,out) variables are now deprecated */
 734   { "tls_bits",            vtype_int,         &tls_in.bits },
 735   { "tls_certificate_verified", vtype_int,    &tls_in.certificate_verified },
 736   { "tls_cipher",          vtype_stringptr,   &tls_in.cipher },
 737
 738   { "tls_in_bits",         vtype_int,         &tls_in.bits },
 739   { "tls_in_certificate_verified", vtype_int, &tls_in.certificate_verified },
 740   { "tls_in_cipher",       vtype_stringptr,   &tls_in.cipher },
 741   { "tls_in_ocsp",         vtype_int,         &tls_in.ocsp },
 742   { "tls_in_ourcert",      vtype_cert,        &tls_in.ourcert },
 743   { "tls_in_peercert",     vtype_cert,        &tls_in.peercert },
 744   { "tls_in_peerdn",       vtype_stringptr,   &tls_in.peerdn },
 745 #if defined(SUPPORT_TLS)
 746   { "tls_in_sni",          vtype_stringptr,   &tls_in.sni },
 747 #endif
 748   { "tls_out_bits",        vtype_int,         &tls_out.bits },
 749   { "tls_out_certificate_verified", vtype_int,&tls_out.certificate_verified },
 750   { "tls_out_cipher",      vtype_stringptr,   &tls_out.cipher },
 751 #ifdef SUPPORT_DANE
 752   { "tls_out_dane",        vtype_bool,        &tls_out.dane_verified },
 753 #endif
 754   { "tls_out_ocsp",        vtype_int,         &tls_out.ocsp },
 755   { "tls_out_ourcert",     vtype_cert,        &tls_out.ourcert },
 756   { "tls_out_peercert",    vtype_cert,        &tls_out.peercert },
 757   { "tls_out_peerdn",      vtype_stringptr,   &tls_out.peerdn },
 758 #if defined(SUPPORT_TLS)
 759   { "tls_out_sni",         vtype_stringptr,   &tls_out.sni },
 760 #endif
 761 #ifdef SUPPORT_DANE
 762   { "tls_out_tlsa_usage",  vtype_int,         &tls_out.tlsa_usage },
 763 #endif
 764
 765   { "tls_peerdn",          vtype_stringptr,   &tls_in.peerdn }, /* mind the alphabetical order! */
 766 #if defined(SUPPORT_TLS)
 767   { "tls_sni",             vtype_stringptr,   &tls_in.sni },    /* mind the alphabetical order! */
 768 #endif
 769
 770   { "tod_bsdinbox",        vtype_todbsdin,    NULL },
 771   { "tod_epoch",           vtype_tode,        NULL },
 772   { "tod_epoch_l",         vtype_todel,       NULL },
 773   { "tod_full",            vtype_todf,        NULL },
 774   { "tod_log",             vtype_todl,        NULL },
 775   { "tod_logfile",         vtype_todlf,       NULL },
 776   { "tod_zone",            vtype_todzone,     NULL },
 777   { "tod_zulu",            vtype_todzulu,     NULL },
 778   { "transport_name",      vtype_stringptr,   &transport_name },
 779   { "value",               vtype_stringptr,   &lookup_value },
 780   { "verify_mode",         vtype_stringptr,   &verify_mode },
 781   { "version_number",      vtype_stringptr,   &version_string },
 782   { "warn_message_delay",  vtype_stringptr,   &warnmsg_delay },
 783   { "warn_message_recipient",vtype_stringptr, &warnmsg_recipients },
 784   { "warn_message_recipients",vtype_stringptr,&warnmsg_recipients },
 785   { "warnmsg_delay",       vtype_stringptr,   &warnmsg_delay },
 786   { "warnmsg_recipient",   vtype_stringptr,   &warnmsg_recipients },
 787   { "warnmsg_recipients",  vtype_stringptr,   &warnmsg_recipients }
 788 };
 789
 790 static int var_table_size = nelem(var_table);
 791 static uschar var_buffer[256];
 792 static BOOL malformed_header;
 793
 794 /* For textual hashes */
 795
 796 static const char *hashcodes = "abcdefghijklmnopqrtsuvwxyz"
 797                                "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
 798                                "0123456789";
 799
 800 enum { HMAC_MD5, HMAC_SHA1 };
 801
 802 /* For numeric hashes */
 803
 804 static unsigned int prime[] = {
 805   2,   3,   5,   7,  11,  13,  17,  19,  23,  29,
 806  31,  37,  41,  43,  47,  53,  59,  61,  67,  71,
 807  73,  79,  83,  89,  97, 101, 103, 107, 109, 113};
 808
 809 /* For printing modes in symbolic form */
 810
 811 static uschar *mtable_normal[] =
 812   { US"---", US"--x", US"-w-", US"-wx", US"r--", US"r-x", US"rw-", US"rwx" };
 813
 814 static uschar *mtable_setid[] =
 815   { US"--S", US"--s", US"-wS", US"-ws", US"r-S", US"r-s", US"rwS", US"rws" };
 816
 817 static uschar *mtable_sticky[] =
 818   { US"--T", US"--t", US"-wT", US"-wt", US"r-T", US"r-t", US"rwT", US"rwt" };
 819
 820 /* flags for find_header() */
 821 #define FH_EXISTS_ONLY  BIT(0)
 822 #define FH_WANT_RAW     BIT(1)
 823 #define FH_WANT_LIST    BIT(2)
 824
 825
 826 /*************************************************
 827 *           Tables for UTF-8 support             *
 828 *************************************************/
 829
 830 /* Table of the number of extra characters, indexed by the first character
 831 masked with 0x3f. The highest number for a valid UTF-8 character is in fact
 832 0x3d. */
 833
 834 static uschar utf8_table1[] = {
 835   1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
 836   1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
 837   2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,
 838   3,3,3,3,3,3,3,3,4,4,4,4,5,5,5,5 };
 839
 840 /* These are the masks for the data bits in the first byte of a character,
 841 indexed by the number of additional bytes. */
 842
 843 static int utf8_table2[] = { 0xff, 0x1f, 0x0f, 0x07, 0x03, 0x01};
 844
 845 /* Get the next UTF-8 character, advancing the pointer. */
 846
 847 #define GETUTF8INC(c, ptr) \
 848   c = *ptr++; \
 849   if ((c & 0xc0) == 0xc0) \
 850     { \
 851     int a = utf8_table1[c & 0x3f];  /* Number of additional bytes */ \
 852     int s = 6*a; \
 853     c = (c & utf8_table2[a]) << s; \
 854     while (a-- > 0) \
 855       { \
 856       s -= 6; \
 857       c |= (*ptr++ & 0x3f) << s; \
 858       } \
 859     }
 860
 861
 862
 863 static uschar * base32_chars = US"abcdefghijklmnopqrstuvwxyz234567";
 864
 865 /*************************************************
 866 *           Binary chop search on a table        *
 867 *************************************************/
 868
 869 /* This is used for matching expansion items and operators.
 870
 871 Arguments:
 872   name        the name that is being sought
 873   table       the table to search
 874   table_size  the number of items in the table
 875
 876 Returns:      the offset in the table, or -1
 877 */
 878
 879 static int
 880 chop_match(uschar *name, uschar **table, int table_size)
 881 {
 882 uschar **bot = table;
 883 uschar **top = table + table_size;
 884
 885 while (top > bot)
 886   {
 887   uschar **mid = bot + (top - bot)/2;
 888   int c = Ustrcmp(name, *mid);
 889   if (c == 0) return mid - table;
 890   if (c > 0) bot = mid + 1; else top = mid;
 891   }
 892
 893 return -1;
 894 }
 895
 896
 897
 898 /*************************************************
 899 *          Check a condition string              *
 900 *************************************************/
 901
 902 /* This function is called to expand a string, and test the result for a "true"
 903 or "false" value. Failure of the expansion yields FALSE; logged unless it was a
 904 forced fail or lookup defer.
 905
 906 We used to release all store used, but this is not not safe due
 907 to ${dlfunc } and ${acl }.  In any case expand_string_internal()
 908 is reasonably careful to release what it can.
 909
 910 The actual false-value tests should be replicated for ECOND_BOOL_LAX.
 911
 912 Arguments:
 913   condition     the condition string
 914   m1            text to be incorporated in panic error
 915   m2            ditto
 916
 917 Returns:        TRUE if condition is met, FALSE if not
 918 */
 919
 920 BOOL
 921 expand_check_condition(uschar *condition, uschar *m1, uschar *m2)
 922 {
 923 int rc;
 924 uschar *ss = expand_string(condition);
 925 if (ss == NULL)
 926   {
 927   if (!expand_string_forcedfail && !search_find_defer)
 928     log_write(0, LOG_MAIN|LOG_PANIC, "failed to expand condition \"%s\" "
 929       "for %s %s: %s", condition, m1, m2, expand_string_message);
 930   return FALSE;
 931   }
 932 rc = ss[0] != 0 && Ustrcmp(ss, "0") != 0 && strcmpic(ss, US"no") != 0 &&
 933   strcmpic(ss, US"false") != 0;
 934 return rc;
 935 }
 936
 937
 938
 939
 940 /*************************************************
 941 *        Pseudo-random number generation         *
 942 *************************************************/
 943
 944 /* Pseudo-random number generation.  The result is not "expected" to be
 945 cryptographically strong but not so weak that someone will shoot themselves
 946 in the foot using it as a nonce in some email header scheme or whatever
 947 weirdness they'll twist this into.  The result should ideally handle fork().
 948
 949 However, if we're stuck unable to provide this, then we'll fall back to
 950 appallingly bad randomness.
 951
 952 If SUPPORT_TLS is defined then this will not be used except as an emergency
 953 fallback.
 954
 955 Arguments:
 956   max       range maximum
 957 Returns     a random number in range [0, max-1]
 958 */
 959
 960 #ifdef SUPPORT_TLS
 961 # define vaguely_random_number vaguely_random_number_fallback
 962 #endif
 963 int
 964 vaguely_random_number(int max)
 965 {
 966 #ifdef SUPPORT_TLS
 967 # undef vaguely_random_number
 968 #endif
 969   static pid_t pid = 0;
 970   pid_t p2;
 971 #if defined(HAVE_SRANDOM) && !defined(HAVE_SRANDOMDEV)
 972   struct timeval tv;
 973 #endif
 974
 975   p2 = getpid();
 976   if (p2 != pid)
 977     {
 978     if (pid != 0)
 979       {
 980
 981 #ifdef HAVE_ARC4RANDOM
 982       /* cryptographically strong randomness, common on *BSD platforms, not
 983       so much elsewhere.  Alas. */
 984 #ifndef NOT_HAVE_ARC4RANDOM_STIR
 985       arc4random_stir();
 986 #endif
 987 #elif defined(HAVE_SRANDOM) || defined(HAVE_SRANDOMDEV)
 988 #ifdef HAVE_SRANDOMDEV
 989       /* uses random(4) for seeding */
 990       srandomdev();
 991 #else
 992       gettimeofday(&tv, NULL);
 993       srandom(tv.tv_sec | tv.tv_usec | getpid());
 994 #endif
 995 #else
 996       /* Poor randomness and no seeding here */
 997 #endif
 998
 999       }
1000     pid = p2;
1001     }
1002
1003 #ifdef HAVE_ARC4RANDOM
1004   return arc4random() % max;
1005 #elif defined(HAVE_SRANDOM) || defined(HAVE_SRANDOMDEV)
1006   return random() % max;
1007 #else
1008   /* This one returns a 16-bit number, definitely not crypto-strong */
1009   return random_number(max);
1010 #endif
1011 }
1012
1013
1014
1015
1016 /*************************************************
1017 *             Pick out a name from a string      *
1018 *************************************************/
1019
1020 /* If the name is too long, it is silently truncated.
1021
1022 Arguments:
1023   name      points to a buffer into which to put the name
1024   max       is the length of the buffer
1025   s         points to the first alphabetic character of the name
1026   extras    chars other than alphanumerics to permit
1027
1028 Returns:    pointer to the first character after the name
1029
1030 Note: The test for *s != 0 in the while loop is necessary because
1031 Ustrchr() yields non-NULL if the character is zero (which is not something
1032 I expected). */
1033
1034 static const uschar *
1035 read_name(uschar *name, int max, const uschar *s, uschar *extras)
1036 {
1037 int ptr = 0;
1038 while (*s != 0 && (isalnum(*s) || Ustrchr(extras, *s) != NULL))
1039   {
1040   if (ptr < max-1) name[ptr++] = *s;
1041   s++;
1042   }
1043 name[ptr] = 0;
1044 return s;
1045 }
1046
1047
1048
1049 /*************************************************
1050 *     Pick out the rest of a header name         *
1051 *************************************************/
1052
1053 /* A variable name starting $header_ (or just $h_ for those who like
1054 abbreviations) might not be the complete header name because headers can
1055 contain any printing characters in their names, except ':'. This function is
1056 called to read the rest of the name, chop h[eader]_ off the front, and put ':'
1057 on the end, if the name was terminated by white space.
1058
1059 Arguments:
1060   name      points to a buffer in which the name read so far exists
1061   max       is the length of the buffer
1062   s         points to the first character after the name so far, i.e. the
1063             first non-alphameric character after $header_xxxxx
1064
1065 Returns:    a pointer to the first character after the header name
1066 */
1067
1068 static const uschar *
1069 read_header_name(uschar *name, int max, const uschar *s)
1070 {
1071 int prelen = Ustrchr(name, '_') - name + 1;
1072 int ptr = Ustrlen(name) - prelen;
1073 if (ptr > 0) memmove(name, name+prelen, ptr);
1074 while (mac_isgraph(*s) && *s != ':')
1075   {
1076   if (ptr < max-1) name[ptr++] = *s;
1077   s++;
1078   }
1079 if (*s == ':') s++;
1080 name[ptr++] = ':';
1081 name[ptr] = 0;
1082 return s;
1083 }
1084
1085
1086
1087 /*************************************************
1088 *           Pick out a number from a string      *
1089 *************************************************/
1090
1091 /* Arguments:
1092   n     points to an integer into which to put the number
1093   s     points to the first digit of the number
1094
1095 Returns:  a pointer to the character after the last digit
1096 */
1097 /*XXX consider expanding to int_eximarith_t.  But the test for
1098 "overbig numbers" in 0002 still needs to overflow it. */
1099
1100 static uschar *
1101 read_number(int *n, uschar *s)
1102 {
1103 *n = 0;
1104 while (isdigit(*s)) *n = *n * 10 + (*s++ - '0');
1105 return s;
1106 }
1107
1108 static const uschar *
1109 read_cnumber(int *n, const uschar *s)
1110 {
1111 *n = 0;
1112 while (isdigit(*s)) *n = *n * 10 + (*s++ - '0');
1113 return s;
1114 }
1115
1116
1117
1118 /*************************************************
1119 *        Extract keyed subfield from a string    *
1120 *************************************************/
1121
1122 /* The yield is in dynamic store; NULL means that the key was not found.
1123
1124 Arguments:
1125   key       points to the name of the key
1126   s         points to the string from which to extract the subfield
1127
1128 Returns:    NULL if the subfield was not found, or
1129             a pointer to the subfield's data
1130 */
1131
1132 static uschar *
1133 expand_getkeyed(uschar *key, const uschar *s)
1134 {
1135 int length = Ustrlen(key);
1136 while (isspace(*s)) s++;
1137
1138 /* Loop to search for the key */
1139
1140 while (*s != 0)
1141   {
1142   int dkeylength;
1143   uschar *data;
1144   const uschar *dkey = s;
1145
1146   while (*s != 0 && *s != '=' && !isspace(*s)) s++;
1147   dkeylength = s - dkey;
1148   while (isspace(*s)) s++;
1149   if (*s == '=') while (isspace((*(++s))));
1150
1151   data = string_dequote(&s);
1152   if (length == dkeylength && strncmpic(key, dkey, length) == 0)
1153     return data;
1154
1155   while (isspace(*s)) s++;
1156   }
1157
1158 return NULL;
1159 }
1160
1161
1162
1163 static var_entry *
1164 find_var_ent(uschar * name)
1165 {
1166 int first = 0;
1167 int last = var_table_size;
1168
1169 while (last > first)
1170   {
1171   int middle = (first + last)/2;
1172   int c = Ustrcmp(name, var_table[middle].name);
1173
1174   if (c > 0) { first = middle + 1; continue; }
1175   if (c < 0) { last = middle; continue; }
1176   return &var_table[middle];
1177   }
1178 return NULL;
1179 }
1180
1181 /*************************************************
1182 *   Extract numbered subfield from string        *
1183 *************************************************/
1184
1185 /* Extracts a numbered field from a string that is divided by tokens - for
1186 example a line from /etc/passwd is divided by colon characters.  First field is
1187 numbered one.  Negative arguments count from the right. Zero returns the whole
1188 string. Returns NULL if there are insufficient tokens in the string
1189
1190 ***WARNING***
1191 Modifies final argument - this is a dynamically generated string, so that's OK.
1192
1193 Arguments:
1194   field       number of field to be extracted,
1195                 first field = 1, whole string = 0, last field = -1
1196   separators  characters that are used to break string into tokens
1197   s           points to the string from which to extract the subfield
1198
1199 Returns:      NULL if the field was not found,
1200               a pointer to the field's data inside s (modified to add 0)
1201 */
1202
1203 static uschar *
1204 expand_gettokened (int field, uschar *separators, uschar *s)
1205 {
1206 int sep = 1;
1207 int count;
1208 uschar *ss = s;
1209 uschar *fieldtext = NULL;
1210
1211 if (field == 0) return s;
1212
1213 /* Break the line up into fields in place; for field > 0 we stop when we have
1214 done the number of fields we want. For field < 0 we continue till the end of
1215 the string, counting the number of fields. */
1216
1217 count = (field > 0)? field : INT_MAX;
1218
1219 while (count-- > 0)
1220   {
1221   size_t len;
1222
1223   /* Previous field was the last one in the string. For a positive field
1224   number, this means there are not enough fields. For a negative field number,
1225   check that there are enough, and scan back to find the one that is wanted. */
1226
1227   if (sep == 0)
1228     {
1229     if (field > 0 || (-field) > (INT_MAX - count - 1)) return NULL;
1230     if ((-field) == (INT_MAX - count - 1)) return s;
1231     while (field++ < 0)
1232       {
1233       ss--;
1234       while (ss[-1] != 0) ss--;
1235       }
1236     fieldtext = ss;
1237     break;
1238     }
1239
1240   /* Previous field was not last in the string; save its start and put a
1241   zero at its end. */
1242
1243   fieldtext = ss;
1244   len = Ustrcspn(ss, separators);
1245   sep = ss[len];
1246   ss[len] = 0;
1247   ss += len + 1;
1248   }
1249
1250 return fieldtext;
1251 }
1252
1253
1254 static uschar *
1255 expand_getlistele(int field, const uschar * list)
1256 {
1257 const uschar * tlist= list;
1258 int sep= 0;
1259 uschar dummy;
1260
1261 if(field<0)
1262   {
1263   for(field++; string_nextinlist(&tlist, &sep, &dummy, 1); ) field++;
1264   sep= 0;
1265   }
1266 if(field==0) return NULL;
1267 while(--field>0 && (string_nextinlist(&list, &sep, &dummy, 1))) ;
1268 return string_nextinlist(&list, &sep, NULL, 0);
1269 }
1270
1271
1272 /* Certificate fields, by name.  Worry about by-OID later */
1273 /* Names are chosen to not have common prefixes */
1274
1275 #ifdef SUPPORT_TLS
1276 typedef struct
1277 {
1278 uschar * name;
1279 int      namelen;
1280 uschar * (*getfn)(void * cert, uschar * mod);
1281 } certfield;
1282 static certfield certfields[] =
1283 {                       /* linear search; no special order */
1284   { US"version",         7,  &tls_cert_version },
1285   { US"serial_number",   13, &tls_cert_serial_number },
1286   { US"subject",         7,  &tls_cert_subject },
1287   { US"notbefore",       9,  &tls_cert_not_before },
1288   { US"notafter",        8,  &tls_cert_not_after },
1289   { US"issuer",          6,  &tls_cert_issuer },
1290   { US"signature",       9,  &tls_cert_signature },
1291   { US"sig_algorithm",   13, &tls_cert_signature_algorithm },
1292   { US"subj_altname",    12, &tls_cert_subject_altname },
1293   { US"ocsp_uri",        8,  &tls_cert_ocsp_uri },
1294   { US"crl_uri",         7,  &tls_cert_crl_uri },
1295 };
1296
1297 static uschar *
1298 expand_getcertele(uschar * field, uschar * certvar)
1299 {
1300 var_entry * vp;
1301 certfield * cp;
1302
1303 if (!(vp = find_var_ent(certvar)))
1304   {
1305   expand_string_message =
1306     string_sprintf("no variable named \"%s\"", certvar);
1307   return NULL;          /* Unknown variable name */
1308   }
1309 /* NB this stops us passing certs around in variable.  Might
1310 want to do that in future */
1311 if (vp->type != vtype_cert)
1312   {
1313   expand_string_message =
1314     string_sprintf("\"%s\" is not a certificate", certvar);
1315   return NULL;          /* Unknown variable name */
1316   }
1317 if (!*(void **)vp->value)
1318   return NULL;
1319
1320 if (*field >= '0' && *field <= '9')
1321   return tls_cert_ext_by_oid(*(void **)vp->value, field, 0);
1322
1323 for(cp = certfields;
1324     cp < certfields + nelem(certfields);
1325     cp++)
1326   if (Ustrncmp(cp->name, field, cp->namelen) == 0)
1327     {
1328     uschar * modifier = *(field += cp->namelen) == ','
1329       ? ++field : NULL;
1330     return (*cp->getfn)( *(void **)vp->value, modifier );
1331     }
1332
1333 expand_string_message =
1334   string_sprintf("bad field selector \"%s\" for certextract", field);
1335 return NULL;
1336 }
1337 #endif  /*SUPPORT_TLS*/
1338
1339 /*************************************************
1340 *        Extract a substring from a string       *
1341 *************************************************/
1342
1343 /* Perform the ${substr or ${length expansion operations.
1344
1345 Arguments:
1346   subject     the input string
1347   value1      the offset from the start of the input string to the start of
1348                 the output string; if negative, count from the right.
1349   value2      the length of the output string, or negative (-1) for unset
1350                 if value1 is positive, unset means "all after"
1351                 if value1 is negative, unset means "all before"
1352   len         set to the length of the returned string
1353
1354 Returns:      pointer to the output string, or NULL if there is an error
1355 */
1356
1357 static uschar *
1358 extract_substr(uschar *subject, int value1, int value2, int *len)
1359 {
1360 int sublen = Ustrlen(subject);
1361
1362 if (value1 < 0)    /* count from right */
1363   {
1364   value1 += sublen;
1365
1366   /* If the position is before the start, skip to the start, and adjust the
1367   length. If the length ends up negative, the substring is null because nothing
1368   can precede. This falls out naturally when the length is unset, meaning "all
1369   to the left". */
1370
1371   if (value1 < 0)
1372     {
1373     value2 += value1;
1374     if (value2 < 0) value2 = 0;
1375     value1 = 0;
1376     }
1377
1378   /* Otherwise an unset length => characters before value1 */
1379
1380   else if (value2 < 0)
1381     {
1382     value2 = value1;
1383     value1 = 0;
1384     }
1385   }
1386
1387 /* For a non-negative offset, if the starting position is past the end of the
1388 string, the result will be the null string. Otherwise, an unset length means
1389 "rest"; just set it to the maximum - it will be cut down below if necessary. */
1390
1391 else
1392   {
1393   if (value1 > sublen)
1394     {
1395     value1 = sublen;
1396     value2 = 0;
1397     }
1398   else if (value2 < 0) value2 = sublen;
1399   }
1400
1401 /* Cut the length down to the maximum possible for the offset value, and get
1402 the required characters. */
1403
1404 if (value1 + value2 > sublen) value2 = sublen - value1;
1405 *len = value2;
1406 return subject + value1;
1407 }
1408
1409
1410
1411
1412 /*************************************************
1413 *            Old-style hash of a string          *
1414 *************************************************/
1415
1416 /* Perform the ${hash expansion operation.
1417
1418 Arguments:
1419   subject     the input string (an expanded substring)
1420   value1      the length of the output string; if greater or equal to the
1421                 length of the input string, the input string is returned
1422   value2      the number of hash characters to use, or 26 if negative
1423   len         set to the length of the returned string
1424
1425 Returns:      pointer to the output string, or NULL if there is an error
1426 */
1427
1428 static uschar *
1429 compute_hash(uschar *subject, int value1, int value2, int *len)
1430 {
1431 int sublen = Ustrlen(subject);
1432
1433 if (value2 < 0) value2 = 26;
1434 else if (value2 > Ustrlen(hashcodes))
1435   {
1436   expand_string_message =
1437     string_sprintf("hash count \"%d\" too big", value2);
1438   return NULL;
1439   }
1440
1441 /* Calculate the hash text. We know it is shorter than the original string, so
1442 can safely place it in subject[] (we know that subject is always itself an
1443 expanded substring). */
1444
1445 if (value1 < sublen)
1446   {
1447   int c;
1448   int i = 0;
1449   int j = value1;
1450   while ((c = (subject[j])) != 0)
1451     {
1452     int shift = (c + j++) & 7;
1453     subject[i] ^= (c << shift) | (c >> (8-shift));
1454     if (++i >= value1) i = 0;
1455     }
1456   for (i = 0; i < value1; i++)
1457     subject[i] = hashcodes[(subject[i]) % value2];
1458   }
1459 else value1 = sublen;
1460
1461 *len = value1;
1462 return subject;
1463 }
1464
1465
1466
1467
1468 /*************************************************
1469 *             Numeric hash of a string           *
1470 *************************************************/
1471
1472 /* Perform the ${nhash expansion operation. The first characters of the
1473 string are treated as most important, and get the highest prime numbers.
1474
1475 Arguments:
1476   subject     the input string
1477   value1      the maximum value of the first part of the result
1478   value2      the maximum value of the second part of the result,
1479                 or negative to produce only a one-part result
1480   len         set to the length of the returned string
1481
1482 Returns:  pointer to the output string, or NULL if there is an error.
1483 */
1484
1485 static uschar *
1486 compute_nhash (uschar *subject, int value1, int value2, int *len)
1487 {
1488 uschar *s = subject;
1489 int i = 0;
1490 unsigned long int total = 0; /* no overflow */
1491
1492 while (*s != 0)
1493   {
1494   if (i == 0) i = nelem(prime) - 1;
1495   total += prime[i--] * (unsigned int)(*s++);
1496   }
1497
1498 /* If value2 is unset, just compute one number */
1499
1500 if (value2 < 0)
1501   s = string_sprintf("%lu", total % value1);
1502
1503 /* Otherwise do a div/mod hash */
1504
1505 else
1506   {
1507   total = total % (value1 * value2);
1508   s = string_sprintf("%lu/%lu", total/value2, total % value2);
1509   }
1510
1511 *len = Ustrlen(s);
1512 return s;
1513 }
1514
1515
1516
1517
1518
1519 /*************************************************
1520 *     Find the value of a header or headers      *
1521 *************************************************/
1522
1523 /* Multiple instances of the same header get concatenated, and this function
1524 can also return a concatenation of all the header lines. When concatenating
1525 specific headers that contain lists of addresses, a comma is inserted between
1526 them. Otherwise we use a straight concatenation. Because some messages can have
1527 pathologically large number of lines, there is a limit on the length that is
1528 returned.
1529
1530 Arguments:
1531   name          the name of the header, without the leading $header_ or $h_,
1532                 or NULL if a concatenation of all headers is required
1533   newsize       return the size of memory block that was obtained; may be NULL
1534                 if exists_only is TRUE
1535   flags         FH_EXISTS_ONLY
1536                   set if called from a def: test; don't need to build a string;
1537                   just return a string that is not "" and not "0" if the header
1538                   exists
1539                 FH_WANT_RAW
1540                   set if called for $rh_ or $rheader_ items; no processing,
1541                   other than concatenating, will be done on the header. Also used
1542                   for $message_headers_raw.
1543                 FH_WANT_LIST
1544                   Double colon chars in the content, and replace newline with
1545                   colon between each element when concatenating; returning a
1546                   colon-sep list (elements might contain newlines)
1547   charset       name of charset to translate MIME words to; used only if
1548                 want_raw is false; if NULL, no translation is done (this is
1549                 used for $bh_ and $bheader_)
1550
1551 Returns:        NULL if the header does not exist, else a pointer to a new
1552                 store block
1553 */
1554
1555 static uschar *
1556 find_header(uschar *name, int *newsize, unsigned flags, uschar *charset)
1557 {
1558 BOOL found = !name;
1559 int len = name ? Ustrlen(name) : 0;
1560 BOOL comma = FALSE;
1561 header_line * h;
1562 gstring * g = NULL;
1563
1564 for (h = header_list; h; h = h->next)
1565   if (h->type != htype_old && h->text)  /* NULL => Received: placeholder */
1566     if (!name || (len <= h->slen && strncmpic(name, h->text, len) == 0))
1567       {
1568       uschar * s, * t;
1569       size_t inc;
1570
1571       if (flags & FH_EXISTS_ONLY)
1572         return US"1";  /* don't need actual string */
1573
1574       found = TRUE;
1575       s = h->text + len;                /* text to insert */
1576       if (!(flags & FH_WANT_RAW))       /* unless wanted raw, */
1577         while (isspace(*s)) s++;        /* remove leading white space */
1578       t = h->text + h->slen;            /* end-point */
1579
1580       /* Unless wanted raw, remove trailing whitespace, including the
1581       newline. */
1582
1583       if (flags & FH_WANT_LIST)
1584         while (t > s && t[-1] == '\n') t--;
1585       else if (!(flags & FH_WANT_RAW))
1586         {
1587         while (t > s && isspace(t[-1])) t--;
1588
1589         /* Set comma if handling a single header and it's one of those
1590         that contains an address list, except when asked for raw headers. Only
1591         need to do this once. */
1592
1593         if (name && !comma && Ustrchr("BCFRST", h->type)) comma = TRUE;
1594         }
1595
1596       /* Trim the header roughly if we're approaching limits */
1597       inc = t - s;
1598       if ((g ? g->ptr : 0) + inc > header_insert_maxlen)
1599         inc = header_insert_maxlen - (g ? g->ptr : 0);
1600
1601       /* For raw just copy the data; for a list, add the data as a colon-sep
1602       list-element; for comma-list add as an unchecked comma,newline sep
1603       list-elemment; for other nonraw add as an unchecked newline-sep list (we
1604       stripped trailing WS above including the newline). We ignore the potential
1605       expansion due to colon-doubling, just leaving the loop if the limit is met
1606       or exceeded. */
1607
1608       if (flags & FH_WANT_LIST)
1609         g = string_append_listele_n(g, ':', s, (unsigned)inc);
1610       else if (flags & FH_WANT_RAW)
1611         {
1612         g = string_catn(g, s, (unsigned)inc);
1613         (void) string_from_gstring(g);
1614         }
1615       else if (inc > 0)
1616         if (comma)
1617           g = string_append2_listele_n(g, US",\n", s, (unsigned)inc);
1618         else
1619           g = string_append2_listele_n(g, US"\n", s, (unsigned)inc);
1620
1621       if (g && g->ptr >= header_insert_maxlen) break;
1622       }
1623
1624 if (!found) return NULL;        /* No header found */
1625 if (!g) return US"";
1626
1627 /* That's all we do for raw header expansion. */
1628
1629 *newsize = g->size;
1630 if (flags & FH_WANT_RAW)
1631   return g->s;
1632
1633 /* Otherwise do RFC 2047 decoding, translating the charset if requested.
1634 The rfc2047_decode2() function can return an error with decoded data if the
1635 charset translation fails. If decoding fails, it returns NULL. */
1636
1637 else
1638   {
1639   uschar *decoded, *error;
1640
1641   decoded = rfc2047_decode2(g->s, check_rfc2047_length, charset, '?', NULL,
1642     newsize, &error);
1643   if (error)
1644     {
1645     DEBUG(D_any) debug_printf("*** error in RFC 2047 decoding: %s\n"
1646       "    input was: %s\n", error, g->s);
1647     }
1648   return decoded ? decoded : g->s;
1649   }
1650 }
1651
1652
1653
1654
1655 /* Append a "local" element to an Authentication-Results: header
1656 if this was a non-smtp message.
1657 */
1658
1659 static gstring *
1660 authres_local(gstring * g, const uschar * sysname)
1661 {
1662 if (!authentication_local)
1663   return g;
1664 g = string_append(g, 3, US";\n\tlocal=pass (non-smtp, ", sysname, US")");
1665 if (authenticated_id) g = string_append(g, 2, " u=", authenticated_id);
1666 return g;
1667 }
1668
1669
1670 /* Append an "iprev" element to an Authentication-Results: header
1671 if we have attempted to get the calling host's name.
1672 */
1673
1674 static gstring *
1675 authres_iprev(gstring * g)
1676 {
1677 if (sender_host_name)
1678   return string_append(g, sender_host_address ? 5 : 3,
1679     US";\n\tiprev=pass (", sender_host_name, US")",
1680     US" smtp.client-ip=", sender_host_address);
1681 if (host_lookup_deferred)
1682   return string_catn(g, US";\n\tiprev=temperror", 19);
1683 if (host_lookup_failed)
1684   return string_catn(g, US";\n\tiprev=fail", 13);
1685 return g;
1686 }
1687
1688
1689
1690 /*************************************************
1691 *               Return list of recipients        *
1692 *************************************************/
1693 /* A recipients list is available only during system message filtering,
1694 during ACL processing after DATA, and while expanding pipe commands
1695 generated from a system filter, but not elsewhere. */
1696
1697 static uschar *
1698 fn_recipients(void)
1699 {
1700 uschar * s;
1701 gstring * g = NULL;
1702 int i;
1703
1704 if (!enable_dollar_recipients) return NULL;
1705
1706 for (i = 0; i < recipients_count; i++)
1707   {
1708   s = recipients_list[i].address;
1709   g = string_append2_listele_n(g, US", ", s, Ustrlen(s));
1710   }
1711 return g ? g->s : NULL;
1712 }
1713
1714
1715 /*************************************************
1716 *               Find value of a variable         *
1717 *************************************************/
1718
1719 /* The table of variables is kept in alphabetic order, so we can search it
1720 using a binary chop. The "choplen" variable is nothing to do with the binary
1721 chop.
1722
1723 Arguments:
1724   name          the name of the variable being sought
1725   exists_only   TRUE if this is a def: test; passed on to find_header()
1726   skipping      TRUE => skip any processing evaluation; this is not the same as
1727                   exists_only because def: may test for values that are first
1728                   evaluated here
1729   newsize       pointer to an int which is initially zero; if the answer is in
1730                 a new memory buffer, *newsize is set to its size
1731
1732 Returns:        NULL if the variable does not exist, or
1733                 a pointer to the variable's contents, or
1734                 something non-NULL if exists_only is TRUE
1735 */
1736
1737 static uschar *
1738 find_variable(uschar *name, BOOL exists_only, BOOL skipping, int *newsize)
1739 {
1740 var_entry * vp;
1741 uschar *s, *domain;
1742 uschar **ss;
1743 void * val;
1744
1745 /* Handle ACL variables, whose names are of the form acl_cxxx or acl_mxxx.
1746 Originally, xxx had to be a number in the range 0-9 (later 0-19), but from
1747 release 4.64 onwards arbitrary names are permitted, as long as the first 5
1748 characters are acl_c or acl_m and the sixth is either a digit or an underscore
1749 (this gave backwards compatibility at the changeover). There may be built-in
1750 variables whose names start acl_ but they should never start in this way. This
1751 slightly messy specification is a consequence of the history, needless to say.
1752
1753 If an ACL variable does not exist, treat it as empty, unless strict_acl_vars is
1754 set, in which case give an error. */
1755
1756 if ((Ustrncmp(name, "acl_c", 5) == 0 || Ustrncmp(name, "acl_m", 5) == 0) &&
1757      !isalpha(name[5]))
1758   {
1759   tree_node *node =
1760     tree_search((name[4] == 'c')? acl_var_c : acl_var_m, name + 4);
1761   return node ? node->data.ptr : strict_acl_vars ? NULL : US"";
1762   }
1763
1764 /* Handle $auth<n> variables. */
1765
1766 if (Ustrncmp(name, "auth", 4) == 0)
1767   {
1768   uschar *endptr;
1769   int n = Ustrtoul(name + 4, &endptr, 10);
1770   if (*endptr == 0 && n != 0 && n <= AUTH_VARS)
1771     return !auth_vars[n-1] ? US"" : auth_vars[n-1];
1772   }
1773 else if (Ustrncmp(name, "regex", 5) == 0)
1774   {
1775   uschar *endptr;
1776   int n = Ustrtoul(name + 5, &endptr, 10);
1777   if (*endptr == 0 && n != 0 && n <= REGEX_VARS)
1778     return !regex_vars[n-1] ? US"" : regex_vars[n-1];
1779   }
1780
1781 /* For all other variables, search the table */
1782
1783 if (!(vp = find_var_ent(name)))
1784   return NULL;          /* Unknown variable name */
1785
1786 /* Found an existing variable. If in skipping state, the value isn't needed,
1787 and we want to avoid processing (such as looking up the host name). */
1788
1789 if (skipping)
1790   return US"";
1791
1792 val = vp->value;
1793 switch (vp->type)
1794   {
1795   case vtype_filter_int:
1796     if (!filter_running) return NULL;
1797     /* Fall through */
1798     /* VVVVVVVVVVVV */
1799   case vtype_int:
1800     sprintf(CS var_buffer, "%d", *(int *)(val)); /* Integer */
1801     return var_buffer;
1802
1803   case vtype_ino:
1804     sprintf(CS var_buffer, "%ld", (long int)(*(ino_t *)(val))); /* Inode */
1805     return var_buffer;
1806
1807   case vtype_gid:
1808     sprintf(CS var_buffer, "%ld", (long int)(*(gid_t *)(val))); /* gid */
1809     return var_buffer;
1810
1811   case vtype_uid:
1812     sprintf(CS var_buffer, "%ld", (long int)(*(uid_t *)(val))); /* uid */
1813     return var_buffer;
1814
1815   case vtype_bool:
1816     sprintf(CS var_buffer, "%s", *(BOOL *)(val) ? "yes" : "no"); /* bool */
1817     return var_buffer;
1818
1819   case vtype_stringptr:                      /* Pointer to string */
1820     return (s = *((uschar **)(val))) ? s : US"";
1821
1822   case vtype_pid:
1823     sprintf(CS var_buffer, "%d", (int)getpid()); /* pid */
1824     return var_buffer;
1825
1826   case vtype_load_avg:
1827     sprintf(CS var_buffer, "%d", OS_GETLOADAVG()); /* load_average */
1828     return var_buffer;
1829
1830   case vtype_host_lookup:                    /* Lookup if not done so */
1831     if (  !sender_host_name && sender_host_address
1832        && !host_lookup_failed && host_name_lookup() == OK)
1833       host_build_sender_fullhost();
1834     return sender_host_name ? sender_host_name : US"";
1835
1836   case vtype_localpart:                      /* Get local part from address */
1837     s = *((uschar **)(val));
1838     if (s == NULL) return US"";
1839     domain = Ustrrchr(s, '@');
1840     if (domain == NULL) return s;
1841     if (domain - s > sizeof(var_buffer) - 1)
1842       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "local part longer than " SIZE_T_FMT
1843           " in string expansion", sizeof(var_buffer));
1844     Ustrncpy(var_buffer, s, domain - s);
1845     var_buffer[domain - s] = 0;
1846     return var_buffer;
1847
1848   case vtype_domain:                         /* Get domain from address */
1849     s = *((uschar **)(val));
1850     if (s == NULL) return US"";
1851     domain = Ustrrchr(s, '@');
1852     return (domain == NULL)? US"" : domain + 1;
1853
1854   case vtype_msgheaders:
1855     return find_header(NULL, newsize, exists_only ? FH_EXISTS_ONLY : 0, NULL);
1856
1857   case vtype_msgheaders_raw:
1858     return find_header(NULL, newsize,
1859                 exists_only ? FH_EXISTS_ONLY|FH_WANT_RAW : FH_WANT_RAW, NULL);
1860
1861   case vtype_msgbody:                        /* Pointer to msgbody string */
1862   case vtype_msgbody_end:                    /* Ditto, the end of the msg */
1863     ss = (uschar **)(val);
1864     if (!*ss && deliver_datafile >= 0)  /* Read body when needed */
1865       {
1866       uschar *body;
1867       off_t start_offset = SPOOL_DATA_START_OFFSET;
1868       int len = message_body_visible;
1869       if (len > message_size) len = message_size;
1870       *ss = body = store_malloc(len+1);
1871       body[0] = 0;
1872       if (vp->type == vtype_msgbody_end)
1873         {
1874         struct stat statbuf;
1875         if (fstat(deliver_datafile, &statbuf) == 0)
1876           {
1877           start_offset = statbuf.st_size - len;
1878           if (start_offset < SPOOL_DATA_START_OFFSET)
1879             start_offset = SPOOL_DATA_START_OFFSET;
1880           }
1881         }
1882       if (lseek(deliver_datafile, start_offset, SEEK_SET) < 0)
1883         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "deliver_datafile lseek: %s",
1884           strerror(errno));
1885       len = read(deliver_datafile, body, len);
1886       if (len > 0)
1887         {
1888         body[len] = 0;
1889         if (message_body_newlines)   /* Separate loops for efficiency */
1890           while (len > 0)
1891             { if (body[--len] == 0) body[len] = ' '; }
1892         else
1893           while (len > 0)
1894             { if (body[--len] == '\n' || body[len] == 0) body[len] = ' '; }
1895         }
1896       }
1897     return *ss ? *ss : US"";
1898
1899   case vtype_todbsdin:                       /* BSD inbox time of day */
1900     return tod_stamp(tod_bsdin);
1901
1902   case vtype_tode:                           /* Unix epoch time of day */
1903     return tod_stamp(tod_epoch);
1904
1905   case vtype_todel:                          /* Unix epoch/usec time of day */
1906     return tod_stamp(tod_epoch_l);
1907
1908   case vtype_todf:                           /* Full time of day */
1909     return tod_stamp(tod_full);
1910
1911   case vtype_todl:                           /* Log format time of day */
1912     return tod_stamp(tod_log_bare);            /* (without timezone) */
1913
1914   case vtype_todzone:                        /* Time zone offset only */
1915     return tod_stamp(tod_zone);
1916
1917   case vtype_todzulu:                        /* Zulu time */
1918     return tod_stamp(tod_zulu);
1919
1920   case vtype_todlf:                          /* Log file datestamp tod */
1921     return tod_stamp(tod_log_datestamp_daily);
1922
1923   case vtype_reply:                          /* Get reply address */
1924     s = find_header(US"reply-to:", newsize,
1925                 exists_only ? FH_EXISTS_ONLY|FH_WANT_RAW : FH_WANT_RAW,
1926                 headers_charset);
1927     if (s) while (isspace(*s)) s++;
1928     if (!s || !*s)
1929       {
1930       *newsize = 0;                            /* For the *s==0 case */
1931       s = find_header(US"from:", newsize,
1932                 exists_only ? FH_EXISTS_ONLY|FH_WANT_RAW : FH_WANT_RAW,
1933                 headers_charset);
1934       }
1935     if (s)
1936       {
1937       uschar *t;
1938       while (isspace(*s)) s++;
1939       for (t = s; *t != 0; t++) if (*t == '\n') *t = ' ';
1940       while (t > s && isspace(t[-1])) t--;
1941       *t = 0;
1942       }
1943     return s ? s : US"";
1944
1945   case vtype_string_func:
1946     {
1947     uschar * (*fn)() = val;
1948     return fn();
1949     }
1950
1951   case vtype_pspace:
1952     {
1953     int inodes;
1954     sprintf(CS var_buffer, "%d",
1955       receive_statvfs(val == (void *)TRUE, &inodes));
1956     }
1957   return var_buffer;
1958
1959   case vtype_pinodes:
1960     {
1961     int inodes;
1962     (void) receive_statvfs(val == (void *)TRUE, &inodes);
1963     sprintf(CS var_buffer, "%d", inodes);
1964     }
1965   return var_buffer;
1966
1967   case vtype_cert:
1968     return *(void **)val ? US"<cert>" : US"";
1969
1970 #ifndef DISABLE_DKIM
1971   case vtype_dkim:
1972     return dkim_exim_expand_query((int)(long)val);
1973 #endif
1974
1975   }
1976
1977 return NULL;  /* Unknown variable. Silences static checkers. */
1978 }
1979
1980
1981
1982
1983 void
1984 modify_variable(uschar *name, void * value)
1985 {
1986 var_entry * vp;
1987 if ((vp = find_var_ent(name))) vp->value = value;
1988 return;          /* Unknown variable name, fail silently */
1989 }
1990
1991
1992
1993
1994
1995
1996 /*************************************************
1997 *           Read and expand substrings           *
1998 *************************************************/
1999
2000 /* This function is called to read and expand argument substrings for various
2001 expansion items. Some have a minimum requirement that is less than the maximum;
2002 in these cases, the first non-present one is set to NULL.
2003
2004 Arguments:
2005   sub        points to vector of pointers to set
2006   n          maximum number of substrings
2007   m          minimum required
2008   sptr       points to current string pointer
2009   skipping   the skipping flag
2010   check_end  if TRUE, check for final '}'
2011   name       name of item, for error message
2012   resetok    if not NULL, pointer to flag - write FALSE if unsafe to reset
2013              the store.
2014
2015 Returns:     0 OK; string pointer updated
2016              1 curly bracketing error (too few arguments)
2017              2 too many arguments (only if check_end is set); message set
2018              3 other error (expansion failure)
2019 */
2020
2021 static int
2022 read_subs(uschar **sub, int n, int m, const uschar **sptr, BOOL skipping,
2023   BOOL check_end, uschar *name, BOOL *resetok)
2024 {
2025 int i;
2026 const uschar *s = *sptr;
2027
2028 while (isspace(*s)) s++;
2029 for (i = 0; i < n; i++)
2030   {
2031   if (*s != '{')
2032     {
2033     if (i < m)
2034       {
2035       expand_string_message = string_sprintf("Not enough arguments for '%s' "
2036         "(min is %d)", name, m);
2037       return 1;
2038       }
2039     sub[i] = NULL;
2040     break;
2041     }
2042   if (!(sub[i] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, resetok)))
2043     return 3;
2044   if (*s++ != '}') return 1;
2045   while (isspace(*s)) s++;
2046   }
2047 if (check_end && *s++ != '}')
2048   {
2049   if (s[-1] == '{')
2050     {
2051     expand_string_message = string_sprintf("Too many arguments for '%s' "
2052       "(max is %d)", name, n);
2053     return 2;
2054     }
2055   expand_string_message = string_sprintf("missing '}' after '%s'", name);
2056   return 1;
2057   }
2058
2059 *sptr = s;
2060 return 0;
2061 }
2062
2063
2064
2065
2066 /*************************************************
2067 *     Elaborate message for bad variable         *
2068 *************************************************/
2069
2070 /* For the "unknown variable" message, take a look at the variable's name, and
2071 give additional information about possible ACL variables. The extra information
2072 is added on to expand_string_message.
2073
2074 Argument:   the name of the variable
2075 Returns:    nothing
2076 */
2077
2078 static void
2079 check_variable_error_message(uschar *name)
2080 {
2081 if (Ustrncmp(name, "acl_", 4) == 0)
2082   expand_string_message = string_sprintf("%s (%s)", expand_string_message,
2083     (name[4] == 'c' || name[4] == 'm')?
2084       (isalpha(name[5])?
2085         US"6th character of a user-defined ACL variable must be a digit or underscore" :
2086         US"strict_acl_vars is set"    /* Syntax is OK, it has to be this */
2087       ) :
2088       US"user-defined ACL variables must start acl_c or acl_m");
2089 }
2090
2091
2092
2093 /*
2094 Load args from sub array to globals, and call acl_check().
2095 Sub array will be corrupted on return.
2096
2097 Returns:       OK         access is granted by an ACCEPT verb
2098                DISCARD    access is (apparently) granted by a DISCARD verb
2099                FAIL       access is denied
2100                FAIL_DROP  access is denied; drop the connection
2101                DEFER      can't tell at the moment
2102                ERROR      disaster
2103 */
2104 static int
2105 eval_acl(uschar ** sub, int nsub, uschar ** user_msgp)
2106 {
2107 int i;
2108 int sav_narg = acl_narg;
2109 int ret;
2110 uschar * dummy_logmsg;
2111 extern int acl_where;
2112
2113 if(--nsub > nelem(acl_arg)) nsub = nelem(acl_arg);
2114 for (i = 0; i < nsub && sub[i+1]; i++)
2115   {
2116   uschar * tmp = acl_arg[i];
2117   acl_arg[i] = sub[i+1];        /* place callers args in the globals */
2118   sub[i+1] = tmp;               /* stash the old args using our caller's storage */
2119   }
2120 acl_narg = i;
2121 while (i < nsub)
2122   {
2123   sub[i+1] = acl_arg[i];
2124   acl_arg[i++] = NULL;
2125   }
2126
2127 DEBUG(D_expand)
2128   debug_printf_indent("expanding: acl: %s  arg: %s%s\n",
2129     sub[0],
2130     acl_narg>0 ? acl_arg[0] : US"<none>",
2131     acl_narg>1 ? " +more"   : "");
2132
2133 ret = acl_eval(acl_where, sub[0], user_msgp, &dummy_logmsg);
2134
2135 for (i = 0; i < nsub; i++)
2136   acl_arg[i] = sub[i+1];        /* restore old args */
2137 acl_narg = sav_narg;
2138
2139 return ret;
2140 }
2141
2142
2143
2144
2145 /*************************************************
2146 *        Read and evaluate a condition           *
2147 *************************************************/
2148
2149 /*
2150 Arguments:
2151   s        points to the start of the condition text
2152   resetok  points to a BOOL which is written false if it is unsafe to
2153            free memory. Certain condition types (acl) may have side-effect
2154            allocation which must be preserved.
2155   yield    points to a BOOL to hold the result of the condition test;
2156            if NULL, we are just reading through a condition that is
2157            part of an "or" combination to check syntax, or in a state
2158            where the answer isn't required
2159
2160 Returns:   a pointer to the first character after the condition, or
2161            NULL after an error
2162 */
2163
2164 static const uschar *
2165 eval_condition(const uschar *s, BOOL *resetok, BOOL *yield)
2166 {
2167 BOOL testfor = TRUE;
2168 BOOL tempcond, combined_cond;
2169 BOOL *subcondptr;
2170 BOOL sub2_honour_dollar = TRUE;
2171 int i, rc, cond_type, roffset;
2172 int_eximarith_t num[2];
2173 struct stat statbuf;
2174 uschar name[256];
2175 const uschar *sub[10];
2176
2177 const pcre *re;
2178 const uschar *rerror;
2179
2180 for (;;)
2181   {
2182   while (isspace(*s)) s++;
2183   if (*s == '!') { testfor = !testfor; s++; } else break;
2184   }
2185
2186 /* Numeric comparisons are symbolic */
2187
2188 if (*s == '=' || *s == '>' || *s == '<')
2189   {
2190   int p = 0;
2191   name[p++] = *s++;
2192   if (*s == '=')
2193     {
2194     name[p++] = '=';
2195     s++;
2196     }
2197   name[p] = 0;
2198   }
2199
2200 /* All other conditions are named */
2201
2202 else s = read_name(name, 256, s, US"_");
2203
2204 /* If we haven't read a name, it means some non-alpha character is first. */
2205
2206 if (name[0] == 0)
2207   {
2208   expand_string_message = string_sprintf("condition name expected, "
2209     "but found \"%.16s\"", s);
2210   return NULL;
2211   }
2212
2213 /* Find which condition we are dealing with, and switch on it */
2214
2215 cond_type = chop_match(name, cond_table, nelem(cond_table));
2216 switch(cond_type)
2217   {
2218   /* def: tests for a non-empty variable, or for the existence of a header. If
2219   yield == NULL we are in a skipping state, and don't care about the answer. */
2220
2221   case ECOND_DEF:
2222     {
2223     uschar * t;
2224
2225     if (*s != ':')
2226       {
2227       expand_string_message = US"\":\" expected after \"def\"";
2228       return NULL;
2229       }
2230
2231     s = read_name(name, 256, s+1, US"_");
2232
2233     /* Test for a header's existence. If the name contains a closing brace
2234     character, this may be a user error where the terminating colon has been
2235     omitted. Set a flag to adjust a subsequent error message in this case. */
2236
2237     if (  ( *(t = name) == 'h'
2238           || (*t == 'r' || *t == 'l' || *t == 'b') && *++t == 'h'
2239           )
2240        && (*++t == '_' || Ustrncmp(t, "eader_", 6) == 0)
2241        )
2242       {
2243       s = read_header_name(name, 256, s);
2244       /* {-for-text-editors */
2245       if (Ustrchr(name, '}') != NULL) malformed_header = TRUE;
2246       if (yield) *yield =
2247         (find_header(name, NULL, FH_EXISTS_ONLY, NULL) != NULL) == testfor;
2248       }
2249
2250     /* Test for a variable's having a non-empty value. A non-existent variable
2251     causes an expansion failure. */
2252
2253     else
2254       {
2255       if (!(t = find_variable(name, TRUE, yield == NULL, NULL)))
2256         {
2257         expand_string_message = (name[0] == 0)?
2258           string_sprintf("variable name omitted after \"def:\"") :
2259           string_sprintf("unknown variable \"%s\" after \"def:\"", name);
2260         check_variable_error_message(name);
2261         return NULL;
2262         }
2263       if (yield) *yield = (t[0] != 0) == testfor;
2264       }
2265
2266     return s;
2267     }
2268
2269
2270   /* first_delivery tests for first delivery attempt */
2271
2272   case ECOND_FIRST_DELIVERY:
2273   if (yield != NULL) *yield = deliver_firsttime == testfor;
2274   return s;
2275
2276
2277   /* queue_running tests for any process started by a queue runner */
2278
2279   case ECOND_QUEUE_RUNNING:
2280   if (yield != NULL) *yield = (queue_run_pid != (pid_t)0) == testfor;
2281   return s;
2282
2283
2284   /* exists:  tests for file existence
2285        isip:  tests for any IP address
2286       isip4:  tests for an IPv4 address
2287       isip6:  tests for an IPv6 address
2288         pam:  does PAM authentication
2289      radius:  does RADIUS authentication
2290    ldapauth:  does LDAP authentication
2291     pwcheck:  does Cyrus SASL pwcheck authentication
2292   */
2293
2294   case ECOND_EXISTS:
2295   case ECOND_ISIP:
2296   case ECOND_ISIP4:
2297   case ECOND_ISIP6:
2298   case ECOND_PAM:
2299   case ECOND_RADIUS:
2300   case ECOND_LDAPAUTH:
2301   case ECOND_PWCHECK:
2302
2303   while (isspace(*s)) s++;
2304   if (*s != '{') goto COND_FAILED_CURLY_START;          /* }-for-text-editors */
2305
2306   sub[0] = expand_string_internal(s+1, TRUE, &s, yield == NULL, TRUE, resetok);
2307   if (sub[0] == NULL) return NULL;
2308   /* {-for-text-editors */
2309   if (*s++ != '}') goto COND_FAILED_CURLY_END;
2310
2311   if (yield == NULL) return s;   /* No need to run the test if skipping */
2312
2313   switch(cond_type)
2314     {
2315     case ECOND_EXISTS:
2316     if ((expand_forbid & RDO_EXISTS) != 0)
2317       {
2318       expand_string_message = US"File existence tests are not permitted";
2319       return NULL;
2320       }
2321     *yield = (Ustat(sub[0], &statbuf) == 0) == testfor;
2322     break;
2323
2324     case ECOND_ISIP:
2325     case ECOND_ISIP4:
2326     case ECOND_ISIP6:
2327     rc = string_is_ip_address(sub[0], NULL);
2328     *yield = ((cond_type == ECOND_ISIP)? (rc != 0) :
2329              (cond_type == ECOND_ISIP4)? (rc == 4) : (rc == 6)) == testfor;
2330     break;
2331
2332     /* Various authentication tests - all optionally compiled */
2333
2334     case ECOND_PAM:
2335     #ifdef SUPPORT_PAM
2336     rc = auth_call_pam(sub[0], &expand_string_message);
2337     goto END_AUTH;
2338     #else
2339     goto COND_FAILED_NOT_COMPILED;
2340     #endif  /* SUPPORT_PAM */
2341
2342     case ECOND_RADIUS:
2343     #ifdef RADIUS_CONFIG_FILE
2344     rc = auth_call_radius(sub[0], &expand_string_message);
2345     goto END_AUTH;
2346     #else
2347     goto COND_FAILED_NOT_COMPILED;
2348     #endif  /* RADIUS_CONFIG_FILE */
2349
2350     case ECOND_LDAPAUTH:
2351     #ifdef LOOKUP_LDAP
2352       {
2353       /* Just to keep the interface the same */
2354       BOOL do_cache;
2355       int old_pool = store_pool;
2356       store_pool = POOL_SEARCH;
2357       rc = eldapauth_find((void *)(-1), NULL, sub[0], Ustrlen(sub[0]), NULL,
2358         &expand_string_message, &do_cache);
2359       store_pool = old_pool;
2360       }
2361     goto END_AUTH;
2362     #else
2363     goto COND_FAILED_NOT_COMPILED;
2364     #endif  /* LOOKUP_LDAP */
2365
2366     case ECOND_PWCHECK:
2367     #ifdef CYRUS_PWCHECK_SOCKET
2368     rc = auth_call_pwcheck(sub[0], &expand_string_message);
2369     goto END_AUTH;
2370     #else
2371     goto COND_FAILED_NOT_COMPILED;
2372     #endif  /* CYRUS_PWCHECK_SOCKET */
2373
2374     #if defined(SUPPORT_PAM) || defined(RADIUS_CONFIG_FILE) || \
2375         defined(LOOKUP_LDAP) || defined(CYRUS_PWCHECK_SOCKET)
2376     END_AUTH:
2377     if (rc == ERROR || rc == DEFER) return NULL;
2378     *yield = (rc == OK) == testfor;
2379     #endif
2380     }
2381   return s;
2382
2383
2384   /* call ACL (in a conditional context).  Accept true, deny false.
2385   Defer is a forced-fail.  Anything set by message= goes to $value.
2386   Up to ten parameters are used; we use the braces round the name+args
2387   like the saslauthd condition does, to permit a variable number of args.
2388   See also the expansion-item version EITEM_ACL and the traditional
2389   acl modifier ACLC_ACL.
2390   Since the ACL may allocate new global variables, tell our caller to not
2391   reclaim memory.
2392   */
2393
2394   case ECOND_ACL:
2395     /* ${if acl {{name}{arg1}{arg2}...}  {yes}{no}} */
2396     {
2397     uschar *sub[10];
2398     uschar *user_msg;
2399     BOOL cond = FALSE;
2400
2401     while (isspace(*s)) s++;
2402     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /*}*/
2403
2404     switch(read_subs(sub, nelem(sub), 1,
2405       &s, yield == NULL, TRUE, US"acl", resetok))
2406       {
2407       case 1: expand_string_message = US"too few arguments or bracketing "
2408         "error for acl";
2409       case 2:
2410       case 3: return NULL;
2411       }
2412
2413     if (yield != NULL)
2414       {
2415       *resetok = FALSE; /* eval_acl() might allocate; do not reclaim */
2416       switch(eval_acl(sub, nelem(sub), &user_msg))
2417         {
2418         case OK:
2419           cond = TRUE;
2420         case FAIL:
2421           lookup_value = NULL;
2422           if (user_msg)
2423             lookup_value = string_copy(user_msg);
2424           *yield = cond == testfor;
2425           break;
2426
2427         case DEFER:
2428           expand_string_forcedfail = TRUE;
2429           /*FALLTHROUGH*/
2430         default:
2431           expand_string_message = string_sprintf("error from acl \"%s\"", sub[0]);
2432           return NULL;
2433         }
2434       }
2435     return s;
2436     }
2437
2438
2439   /* saslauthd: does Cyrus saslauthd authentication. Four parameters are used:
2440
2441      ${if saslauthd {{username}{password}{service}{realm}}  {yes}{no}}
2442
2443   However, the last two are optional. That is why the whole set is enclosed
2444   in their own set of braces. */
2445
2446   case ECOND_SASLAUTHD:
2447 #ifndef CYRUS_SASLAUTHD_SOCKET
2448     goto COND_FAILED_NOT_COMPILED;
2449 #else
2450     {
2451     uschar *sub[4];
2452     while (isspace(*s)) s++;
2453     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /* }-for-text-editors */
2454     switch(read_subs(sub, nelem(sub), 2, &s, yield == NULL, TRUE, US"saslauthd",
2455                     resetok))
2456       {
2457       case 1: expand_string_message = US"too few arguments or bracketing "
2458         "error for saslauthd";
2459       case 2:
2460       case 3: return NULL;
2461       }
2462     if (sub[2] == NULL) sub[3] = NULL;  /* realm if no service */
2463     if (yield != NULL)
2464       {
2465       int rc = auth_call_saslauthd(sub[0], sub[1], sub[2], sub[3],
2466         &expand_string_message);
2467       if (rc == ERROR || rc == DEFER) return NULL;
2468       *yield = (rc == OK) == testfor;
2469       }
2470     return s;
2471     }
2472 #endif /* CYRUS_SASLAUTHD_SOCKET */
2473
2474
2475   /* symbolic operators for numeric and string comparison, and a number of
2476   other operators, all requiring two arguments.
2477
2478   crypteq:           encrypts plaintext and compares against an encrypted text,
2479                        using crypt(), crypt16(), MD5 or SHA-1
2480   inlist/inlisti:    checks if first argument is in the list of the second
2481   match:             does a regular expression match and sets up the numerical
2482                        variables if it succeeds
2483   match_address:     matches in an address list
2484   match_domain:      matches in a domain list
2485   match_ip:          matches a host list that is restricted to IP addresses
2486   match_local_part:  matches in a local part list
2487   */
2488
2489   case ECOND_MATCH_ADDRESS:
2490   case ECOND_MATCH_DOMAIN:
2491   case ECOND_MATCH_IP:
2492   case ECOND_MATCH_LOCAL_PART:
2493 #ifndef EXPAND_LISTMATCH_RHS
2494     sub2_honour_dollar = FALSE;
2495 #endif
2496     /* FALLTHROUGH */
2497
2498   case ECOND_CRYPTEQ:
2499   case ECOND_INLIST:
2500   case ECOND_INLISTI:
2501   case ECOND_MATCH:
2502
2503   case ECOND_NUM_L:     /* Numerical comparisons */
2504   case ECOND_NUM_LE:
2505   case ECOND_NUM_E:
2506   case ECOND_NUM_EE:
2507   case ECOND_NUM_G:
2508   case ECOND_NUM_GE:
2509
2510   case ECOND_STR_LT:    /* String comparisons */
2511   case ECOND_STR_LTI:
2512   case ECOND_STR_LE:
2513   case ECOND_STR_LEI:
2514   case ECOND_STR_EQ:
2515   case ECOND_STR_EQI:
2516   case ECOND_STR_GT:
2517   case ECOND_STR_GTI:
2518   case ECOND_STR_GE:
2519   case ECOND_STR_GEI:
2520
2521   for (i = 0; i < 2; i++)
2522     {
2523     /* Sometimes, we don't expand substrings; too many insecure configurations
2524     created using match_address{}{} and friends, where the second param
2525     includes information from untrustworthy sources. */
2526     BOOL honour_dollar = TRUE;
2527     if ((i > 0) && !sub2_honour_dollar)
2528       honour_dollar = FALSE;
2529
2530     while (isspace(*s)) s++;
2531     if (*s != '{')
2532       {
2533       if (i == 0) goto COND_FAILED_CURLY_START;
2534       expand_string_message = string_sprintf("missing 2nd string in {} "
2535         "after \"%s\"", name);
2536       return NULL;
2537       }
2538     if (!(sub[i] = expand_string_internal(s+1, TRUE, &s, yield == NULL,
2539         honour_dollar, resetok)))
2540       return NULL;
2541     DEBUG(D_expand) if (i == 1 && !sub2_honour_dollar && Ustrchr(sub[1], '$'))
2542       debug_printf_indent("WARNING: the second arg is NOT expanded,"
2543                         " for security reasons\n");
2544     if (*s++ != '}') goto COND_FAILED_CURLY_END;
2545
2546     /* Convert to numerical if required; we know that the names of all the
2547     conditions that compare numbers do not start with a letter. This just saves
2548     checking for them individually. */
2549
2550     if (!isalpha(name[0]) && yield != NULL)
2551       if (sub[i][0] == 0)
2552         {
2553         num[i] = 0;
2554         DEBUG(D_expand)
2555           debug_printf_indent("empty string cast to zero for numerical comparison\n");
2556         }
2557       else
2558         {
2559         num[i] = expanded_string_integer(sub[i], FALSE);
2560         if (expand_string_message != NULL) return NULL;
2561         }
2562     }
2563
2564   /* Result not required */
2565
2566   if (yield == NULL) return s;
2567
2568   /* Do an appropriate comparison */
2569
2570   switch(cond_type)
2571     {
2572     case ECOND_NUM_E:
2573     case ECOND_NUM_EE:
2574     tempcond = (num[0] == num[1]);
2575     break;
2576
2577     case ECOND_NUM_G:
2578     tempcond = (num[0] > num[1]);
2579     break;
2580
2581     case ECOND_NUM_GE:
2582     tempcond = (num[0] >= num[1]);
2583     break;
2584
2585     case ECOND_NUM_L:
2586     tempcond = (num[0] < num[1]);
2587     break;
2588
2589     case ECOND_NUM_LE:
2590     tempcond = (num[0] <= num[1]);
2591     break;
2592
2593     case ECOND_STR_LT:
2594     tempcond = (Ustrcmp(sub[0], sub[1]) < 0);
2595     break;
2596
2597     case ECOND_STR_LTI:
2598     tempcond = (strcmpic(sub[0], sub[1]) < 0);
2599     break;
2600
2601     case ECOND_STR_LE:
2602     tempcond = (Ustrcmp(sub[0], sub[1]) <= 0);
2603     break;
2604
2605     case ECOND_STR_LEI:
2606     tempcond = (strcmpic(sub[0], sub[1]) <= 0);
2607     break;
2608
2609     case ECOND_STR_EQ:
2610     tempcond = (Ustrcmp(sub[0], sub[1]) == 0);
2611     break;
2612
2613     case ECOND_STR_EQI:
2614     tempcond = (strcmpic(sub[0], sub[1]) == 0);
2615     break;
2616
2617     case ECOND_STR_GT:
2618     tempcond = (Ustrcmp(sub[0], sub[1]) > 0);
2619     break;
2620
2621     case ECOND_STR_GTI:
2622     tempcond = (strcmpic(sub[0], sub[1]) > 0);
2623     break;
2624
2625     case ECOND_STR_GE:
2626     tempcond = (Ustrcmp(sub[0], sub[1]) >= 0);
2627     break;
2628
2629     case ECOND_STR_GEI:
2630     tempcond = (strcmpic(sub[0], sub[1]) >= 0);
2631     break;
2632
2633     case ECOND_MATCH:   /* Regular expression match */
2634     re = pcre_compile(CS sub[1], PCRE_COPT, (const char **)&rerror, &roffset,
2635       NULL);
2636     if (re == NULL)
2637       {
2638       expand_string_message = string_sprintf("regular expression error in "
2639         "\"%s\": %s at offset %d", sub[1], rerror, roffset);
2640       return NULL;
2641       }
2642     tempcond = regex_match_and_setup(re, sub[0], 0, -1);
2643     break;
2644
2645     case ECOND_MATCH_ADDRESS:  /* Match in an address list */
2646     rc = match_address_list(sub[0], TRUE, FALSE, &(sub[1]), NULL, -1, 0, NULL);
2647     goto MATCHED_SOMETHING;
2648
2649     case ECOND_MATCH_DOMAIN:   /* Match in a domain list */
2650     rc = match_isinlist(sub[0], &(sub[1]), 0, &domainlist_anchor, NULL,
2651       MCL_DOMAIN + MCL_NOEXPAND, TRUE, NULL);
2652     goto MATCHED_SOMETHING;
2653
2654     case ECOND_MATCH_IP:       /* Match IP address in a host list */
2655     if (sub[0][0] != 0 && string_is_ip_address(sub[0], NULL) == 0)
2656       {
2657       expand_string_message = string_sprintf("\"%s\" is not an IP address",
2658         sub[0]);
2659       return NULL;
2660       }
2661     else
2662       {
2663       unsigned int *nullcache = NULL;
2664       check_host_block cb;
2665
2666       cb.host_name = US"";
2667       cb.host_address = sub[0];
2668
2669       /* If the host address starts off ::ffff: it is an IPv6 address in
2670       IPv4-compatible mode. Find the IPv4 part for checking against IPv4
2671       addresses. */
2672
2673       cb.host_ipv4 = (Ustrncmp(cb.host_address, "::ffff:", 7) == 0)?
2674         cb.host_address + 7 : cb.host_address;
2675
2676       rc = match_check_list(
2677              &sub[1],                   /* the list */
2678              0,                         /* separator character */
2679              &hostlist_anchor,          /* anchor pointer */
2680              &nullcache,                /* cache pointer */
2681              check_host,                /* function for testing */
2682              &cb,                       /* argument for function */
2683              MCL_HOST,                  /* type of check */
2684              sub[0],                    /* text for debugging */
2685              NULL);                     /* where to pass back data */
2686       }
2687     goto MATCHED_SOMETHING;
2688
2689     case ECOND_MATCH_LOCAL_PART:
2690     rc = match_isinlist(sub[0], &(sub[1]), 0, &localpartlist_anchor, NULL,
2691       MCL_LOCALPART + MCL_NOEXPAND, TRUE, NULL);
2692     /* Fall through */
2693     /* VVVVVVVVVVVV */
2694     MATCHED_SOMETHING:
2695     switch(rc)
2696       {
2697       case OK:
2698       tempcond = TRUE;
2699       break;
2700
2701       case FAIL:
2702       tempcond = FALSE;
2703       break;
2704
2705       case DEFER:
2706       expand_string_message = string_sprintf("unable to complete match "
2707         "against \"%s\": %s", sub[1], search_error_message);
2708       return NULL;
2709       }
2710
2711     break;
2712
2713     /* Various "encrypted" comparisons. If the second string starts with
2714     "{" then an encryption type is given. Default to crypt() or crypt16()
2715     (build-time choice). */
2716     /* }-for-text-editors */
2717
2718     case ECOND_CRYPTEQ:
2719     #ifndef SUPPORT_CRYPTEQ
2720     goto COND_FAILED_NOT_COMPILED;
2721     #else
2722     if (strncmpic(sub[1], US"{md5}", 5) == 0)
2723       {
2724       int sublen = Ustrlen(sub[1]+5);
2725       md5 base;
2726       uschar digest[16];
2727
2728       md5_start(&base);
2729       md5_end(&base, sub[0], Ustrlen(sub[0]), digest);
2730
2731       /* If the length that we are comparing against is 24, the MD5 digest
2732       is expressed as a base64 string. This is the way LDAP does it. However,
2733       some other software uses a straightforward hex representation. We assume
2734       this if the length is 32. Other lengths fail. */
2735
2736       if (sublen == 24)
2737         {
2738         uschar *coded = b64encode(digest, 16);
2739         DEBUG(D_auth) debug_printf("crypteq: using MD5+B64 hashing\n"
2740           "  subject=%s\n  crypted=%s\n", coded, sub[1]+5);
2741         tempcond = (Ustrcmp(coded, sub[1]+5) == 0);
2742         }
2743       else if (sublen == 32)
2744         {
2745         int i;
2746         uschar coded[36];
2747         for (i = 0; i < 16; i++) sprintf(CS (coded+2*i), "%02X", digest[i]);
2748         coded[32] = 0;
2749         DEBUG(D_auth) debug_printf("crypteq: using MD5+hex hashing\n"
2750           "  subject=%s\n  crypted=%s\n", coded, sub[1]+5);
2751         tempcond = (strcmpic(coded, sub[1]+5) == 0);
2752         }
2753       else
2754         {
2755         DEBUG(D_auth) debug_printf("crypteq: length for MD5 not 24 or 32: "
2756           "fail\n  crypted=%s\n", sub[1]+5);
2757         tempcond = FALSE;
2758         }
2759       }
2760
2761     else if (strncmpic(sub[1], US"{sha1}", 6) == 0)
2762       {
2763       int sublen = Ustrlen(sub[1]+6);
2764       hctx h;
2765       uschar digest[20];
2766
2767       sha1_start(&h);
2768       sha1_end(&h, sub[0], Ustrlen(sub[0]), digest);
2769
2770       /* If the length that we are comparing against is 28, assume the SHA1
2771       digest is expressed as a base64 string. If the length is 40, assume a
2772       straightforward hex representation. Other lengths fail. */
2773
2774       if (sublen == 28)
2775         {
2776         uschar *coded = b64encode(digest, 20);
2777         DEBUG(D_auth) debug_printf("crypteq: using SHA1+B64 hashing\n"
2778           "  subject=%s\n  crypted=%s\n", coded, sub[1]+6);
2779         tempcond = (Ustrcmp(coded, sub[1]+6) == 0);
2780         }
2781       else if (sublen == 40)
2782         {
2783         int i;
2784         uschar coded[44];
2785         for (i = 0; i < 20; i++) sprintf(CS (coded+2*i), "%02X", digest[i]);
2786         coded[40] = 0;
2787         DEBUG(D_auth) debug_printf("crypteq: using SHA1+hex hashing\n"
2788           "  subject=%s\n  crypted=%s\n", coded, sub[1]+6);
2789         tempcond = (strcmpic(coded, sub[1]+6) == 0);
2790         }
2791       else
2792         {
2793         DEBUG(D_auth) debug_printf("crypteq: length for SHA-1 not 28 or 40: "
2794           "fail\n  crypted=%s\n", sub[1]+6);
2795         tempcond = FALSE;
2796         }
2797       }
2798
2799     else   /* {crypt} or {crypt16} and non-{ at start */
2800            /* }-for-text-editors */
2801       {
2802       int which = 0;
2803       uschar *coded;
2804
2805       if (strncmpic(sub[1], US"{crypt}", 7) == 0)
2806         {
2807         sub[1] += 7;
2808         which = 1;
2809         }
2810       else if (strncmpic(sub[1], US"{crypt16}", 9) == 0)
2811         {
2812         sub[1] += 9;
2813         which = 2;
2814         }
2815       else if (sub[1][0] == '{')                /* }-for-text-editors */
2816         {
2817         expand_string_message = string_sprintf("unknown encryption mechanism "
2818           "in \"%s\"", sub[1]);
2819         return NULL;
2820         }
2821
2822       switch(which)
2823         {
2824         case 0:  coded = US DEFAULT_CRYPT(CS sub[0], CS sub[1]); break;
2825         case 1:  coded = US crypt(CS sub[0], CS sub[1]); break;
2826         default: coded = US crypt16(CS sub[0], CS sub[1]); break;
2827         }
2828
2829       #define STR(s) # s
2830       #define XSTR(s) STR(s)
2831       DEBUG(D_auth) debug_printf("crypteq: using %s()\n"
2832         "  subject=%s\n  crypted=%s\n",
2833         which == 0 ? XSTR(DEFAULT_CRYPT) : which == 1 ? "crypt" : "crypt16",
2834         coded, sub[1]);
2835       #undef STR
2836       #undef XSTR
2837
2838       /* If the encrypted string contains fewer than two characters (for the
2839       salt), force failure. Otherwise we get false positives: with an empty
2840       string the yield of crypt() is an empty string! */
2841
2842       if (coded)
2843         tempcond = Ustrlen(sub[1]) < 2 ? FALSE : Ustrcmp(coded, sub[1]) == 0;
2844       else if (errno == EINVAL)
2845         tempcond = FALSE;
2846       else
2847         {
2848         expand_string_message = string_sprintf("crypt error: %s\n",
2849           US strerror(errno));
2850         return NULL;
2851         }
2852       }
2853     break;
2854     #endif  /* SUPPORT_CRYPTEQ */
2855
2856     case ECOND_INLIST:
2857     case ECOND_INLISTI:
2858       {
2859       const uschar * list = sub[1];
2860       int sep = 0;
2861       uschar *save_iterate_item = iterate_item;
2862       int (*compare)(const uschar *, const uschar *);
2863
2864       DEBUG(D_expand) debug_printf_indent("condition: %s  item: %s\n", name, sub[0]);
2865
2866       tempcond = FALSE;
2867       compare = cond_type == ECOND_INLISTI
2868         ? strcmpic : (int (*)(const uschar *, const uschar *)) strcmp;
2869
2870       while ((iterate_item = string_nextinlist(&list, &sep, NULL, 0)))
2871         {
2872         DEBUG(D_expand) debug_printf_indent(" compare %s\n", iterate_item);
2873         if (compare(sub[0], iterate_item) == 0)
2874           {
2875           tempcond = TRUE;
2876           break;
2877           }
2878         }
2879       iterate_item = save_iterate_item;
2880       }
2881
2882     }   /* Switch for comparison conditions */
2883
2884   *yield = tempcond == testfor;
2885   return s;    /* End of comparison conditions */
2886
2887
2888   /* and/or: computes logical and/or of several conditions */
2889
2890   case ECOND_AND:
2891   case ECOND_OR:
2892   subcondptr = (yield == NULL)? NULL : &tempcond;
2893   combined_cond = (cond_type == ECOND_AND);
2894
2895   while (isspace(*s)) s++;
2896   if (*s++ != '{') goto COND_FAILED_CURLY_START;        /* }-for-text-editors */
2897
2898   for (;;)
2899     {
2900     while (isspace(*s)) s++;
2901     /* {-for-text-editors */
2902     if (*s == '}') break;
2903     if (*s != '{')                                      /* }-for-text-editors */
2904       {
2905       expand_string_message = string_sprintf("each subcondition "
2906         "inside an \"%s{...}\" condition must be in its own {}", name);
2907       return NULL;
2908       }
2909
2910     if (!(s = eval_condition(s+1, resetok, subcondptr)))
2911       {
2912       expand_string_message = string_sprintf("%s inside \"%s{...}\" condition",
2913         expand_string_message, name);
2914       return NULL;
2915       }
2916     while (isspace(*s)) s++;
2917
2918     /* {-for-text-editors */
2919     if (*s++ != '}')
2920       {
2921       /* {-for-text-editors */
2922       expand_string_message = string_sprintf("missing } at end of condition "
2923         "inside \"%s\" group", name);
2924       return NULL;
2925       }
2926
2927     if (yield != NULL)
2928       {
2929       if (cond_type == ECOND_AND)
2930         {
2931         combined_cond &= tempcond;
2932         if (!combined_cond) subcondptr = NULL;  /* once false, don't */
2933         }                                       /* evaluate any more */
2934       else
2935         {
2936         combined_cond |= tempcond;
2937         if (combined_cond) subcondptr = NULL;   /* once true, don't */
2938         }                                       /* evaluate any more */
2939       }
2940     }
2941
2942   if (yield != NULL) *yield = (combined_cond == testfor);
2943   return ++s;
2944
2945
2946   /* forall/forany: iterates a condition with different values */
2947
2948   case ECOND_FORALL:
2949   case ECOND_FORANY:
2950     {
2951     const uschar * list;
2952     int sep = 0;
2953     uschar *save_iterate_item = iterate_item;
2954
2955     DEBUG(D_expand) debug_printf_indent("condition: %s\n", name);
2956
2957     while (isspace(*s)) s++;
2958     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /* }-for-text-editors */
2959     sub[0] = expand_string_internal(s, TRUE, &s, (yield == NULL), TRUE, resetok);
2960     if (sub[0] == NULL) return NULL;
2961     /* {-for-text-editors */
2962     if (*s++ != '}') goto COND_FAILED_CURLY_END;
2963
2964     while (isspace(*s)) s++;
2965     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /* }-for-text-editors */
2966
2967     sub[1] = s;
2968
2969     /* Call eval_condition once, with result discarded (as if scanning a
2970     "false" part). This allows us to find the end of the condition, because if
2971     the list it empty, we won't actually evaluate the condition for real. */
2972
2973     if (!(s = eval_condition(sub[1], resetok, NULL)))
2974       {
2975       expand_string_message = string_sprintf("%s inside \"%s\" condition",
2976         expand_string_message, name);
2977       return NULL;
2978       }
2979     while (isspace(*s)) s++;
2980
2981     /* {-for-text-editors */
2982     if (*s++ != '}')
2983       {
2984       /* {-for-text-editors */
2985       expand_string_message = string_sprintf("missing } at end of condition "
2986         "inside \"%s\"", name);
2987       return NULL;
2988       }
2989
2990     if (yield != NULL) *yield = !testfor;
2991     list = sub[0];
2992     while ((iterate_item = string_nextinlist(&list, &sep, NULL, 0)) != NULL)
2993       {
2994       DEBUG(D_expand) debug_printf_indent("%s: $item = \"%s\"\n", name, iterate_item);
2995       if (!eval_condition(sub[1], resetok, &tempcond))
2996         {
2997         expand_string_message = string_sprintf("%s inside \"%s\" condition",
2998           expand_string_message, name);
2999         iterate_item = save_iterate_item;
3000         return NULL;
3001         }
3002       DEBUG(D_expand) debug_printf_indent("%s: condition evaluated to %s\n", name,
3003         tempcond? "true":"false");
3004
3005       if (yield != NULL) *yield = (tempcond == testfor);
3006       if (tempcond == (cond_type == ECOND_FORANY)) break;
3007       }
3008
3009     iterate_item = save_iterate_item;
3010     return s;
3011     }
3012
3013
3014   /* The bool{} expansion condition maps a string to boolean.
3015   The values supported should match those supported by the ACL condition
3016   (acl.c, ACLC_CONDITION) so that we keep to a minimum the different ideas
3017   of true/false.  Note that Router "condition" rules have a different
3018   interpretation, where general data can be used and only a few values
3019   map to FALSE.
3020   Note that readconf.c boolean matching, for boolean configuration options,
3021   only matches true/yes/false/no.
3022   The bool_lax{} condition matches the Router logic, which is much more
3023   liberal. */
3024   case ECOND_BOOL:
3025   case ECOND_BOOL_LAX:
3026     {
3027     uschar *sub_arg[1];
3028     uschar *t, *t2;
3029     uschar *ourname;
3030     size_t len;
3031     BOOL boolvalue = FALSE;
3032     while (isspace(*s)) s++;
3033     if (*s != '{') goto COND_FAILED_CURLY_START;        /* }-for-text-editors */
3034     ourname = cond_type == ECOND_BOOL_LAX ? US"bool_lax" : US"bool";
3035     switch(read_subs(sub_arg, 1, 1, &s, yield == NULL, FALSE, ourname, resetok))
3036       {
3037       case 1: expand_string_message = string_sprintf(
3038                   "too few arguments or bracketing error for %s",
3039                   ourname);
3040       /*FALLTHROUGH*/
3041       case 2:
3042       case 3: return NULL;
3043       }
3044     t = sub_arg[0];
3045     while (isspace(*t)) t++;
3046     len = Ustrlen(t);
3047     if (len)
3048       {
3049       /* trailing whitespace: seems like a good idea to ignore it too */
3050       t2 = t + len - 1;
3051       while (isspace(*t2)) t2--;
3052       if (t2 != (t + len))
3053         {
3054         *++t2 = '\0';
3055         len = t2 - t;
3056         }
3057       }
3058     DEBUG(D_expand)
3059       debug_printf_indent("considering %s: %s\n", ourname, len ? t : US"<empty>");
3060     /* logic for the lax case from expand_check_condition(), which also does
3061     expands, and the logic is both short and stable enough that there should
3062     be no maintenance burden from replicating it. */
3063     if (len == 0)
3064       boolvalue = FALSE;
3065     else if (*t == '-'
3066              ? Ustrspn(t+1, "0123456789") == len-1
3067              : Ustrspn(t,   "0123456789") == len)
3068       {
3069       boolvalue = (Uatoi(t) == 0) ? FALSE : TRUE;
3070       /* expand_check_condition only does a literal string "0" check */
3071       if ((cond_type == ECOND_BOOL_LAX) && (len > 1))
3072         boolvalue = TRUE;
3073       }
3074     else if (strcmpic(t, US"true") == 0 || strcmpic(t, US"yes") == 0)
3075       boolvalue = TRUE;
3076     else if (strcmpic(t, US"false") == 0 || strcmpic(t, US"no") == 0)
3077       boolvalue = FALSE;
3078     else if (cond_type == ECOND_BOOL_LAX)
3079       boolvalue = TRUE;
3080     else
3081       {
3082       expand_string_message = string_sprintf("unrecognised boolean "
3083        "value \"%s\"", t);
3084       return NULL;
3085       }
3086     DEBUG(D_expand) debug_printf_indent("%s: condition evaluated to %s\n", ourname,
3087         boolvalue? "true":"false");
3088     if (yield != NULL) *yield = (boolvalue == testfor);
3089     return s;
3090     }
3091
3092   /* Unknown condition */
3093
3094   default:
3095   expand_string_message = string_sprintf("unknown condition \"%s\"", name);
3096   return NULL;
3097   }   /* End switch on condition type */
3098
3099 /* Missing braces at start and end of data */
3100
3101 COND_FAILED_CURLY_START:
3102 expand_string_message = string_sprintf("missing { after \"%s\"", name);
3103 return NULL;
3104
3105 COND_FAILED_CURLY_END:
3106 expand_string_message = string_sprintf("missing } at end of \"%s\" condition",
3107   name);
3108 return NULL;
3109
3110 /* A condition requires code that is not compiled */
3111
3112 #if !defined(SUPPORT_PAM) || !defined(RADIUS_CONFIG_FILE) || \
3113     !defined(LOOKUP_LDAP) || !defined(CYRUS_PWCHECK_SOCKET) || \
3114     !defined(SUPPORT_CRYPTEQ) || !defined(CYRUS_SASLAUTHD_SOCKET)
3115 COND_FAILED_NOT_COMPILED:
3116 expand_string_message = string_sprintf("support for \"%s\" not compiled",
3117   name);
3118 return NULL;
3119 #endif
3120 }
3121
3122
3123
3124
3125 /*************************************************
3126 *          Save numerical variables              *
3127 *************************************************/
3128
3129 /* This function is called from items such as "if" that want to preserve and
3130 restore the numbered variables.
3131
3132 Arguments:
3133   save_expand_string    points to an array of pointers to set
3134   save_expand_nlength   points to an array of ints for the lengths
3135
3136 Returns:                the value of expand max to save
3137 */
3138
3139 static int
3140 save_expand_strings(uschar **save_expand_nstring, int *save_expand_nlength)
3141 {
3142 int i;
3143 for (i = 0; i <= expand_nmax; i++)
3144   {
3145   save_expand_nstring[i] = expand_nstring[i];
3146   save_expand_nlength[i] = expand_nlength[i];
3147   }
3148 return expand_nmax;
3149 }
3150
3151
3152
3153 /*************************************************
3154 *           Restore numerical variables          *
3155 *************************************************/
3156
3157 /* This function restored saved values of numerical strings.
3158
3159 Arguments:
3160   save_expand_nmax      the number of strings to restore
3161   save_expand_string    points to an array of pointers
3162   save_expand_nlength   points to an array of ints
3163
3164 Returns:                nothing
3165 */
3166
3167 static void
3168 restore_expand_strings(int save_expand_nmax, uschar **save_expand_nstring,
3169   int *save_expand_nlength)
3170 {
3171 int i;
3172 expand_nmax = save_expand_nmax;
3173 for (i = 0; i <= expand_nmax; i++)
3174   {
3175   expand_nstring[i] = save_expand_nstring[i];
3176   expand_nlength[i] = save_expand_nlength[i];
3177   }
3178 }
3179
3180
3181
3182
3183
3184 /*************************************************
3185 *            Handle yes/no substrings            *
3186 *************************************************/
3187
3188 /* This function is used by ${if}, ${lookup} and ${extract} to handle the
3189 alternative substrings that depend on whether or not the condition was true,
3190 or the lookup or extraction succeeded. The substrings always have to be
3191 expanded, to check their syntax, but "skipping" is set when the result is not
3192 needed - this avoids unnecessary nested lookups.
3193
3194 Arguments:
3195   skipping       TRUE if we were skipping when this item was reached
3196   yes            TRUE if the first string is to be used, else use the second
3197   save_lookup    a value to put back into lookup_value before the 2nd expansion
3198   sptr           points to the input string pointer
3199   yieldptr       points to the output growable-string pointer
3200   type           "lookup", "if", "extract", "run", "env", "listextract" or
3201                  "certextract" for error message
3202   resetok        if not NULL, pointer to flag - write FALSE if unsafe to reset
3203                 the store.
3204
3205 Returns:         0 OK; lookup_value has been reset to save_lookup
3206                  1 expansion failed
3207                  2 expansion failed because of bracketing error
3208 */
3209
3210 static int
3211 process_yesno(BOOL skipping, BOOL yes, uschar *save_lookup, const uschar **sptr,
3212   gstring ** yieldptr, uschar *type, BOOL *resetok)
3213 {
3214 int rc = 0;
3215 const uschar *s = *sptr;    /* Local value */
3216 uschar *sub1, *sub2;
3217 const uschar * errwhere;
3218
3219 /* If there are no following strings, we substitute the contents of $value for
3220 lookups and for extractions in the success case. For the ${if item, the string
3221 "true" is substituted. In the fail case, nothing is substituted for all three
3222 items. */
3223
3224 while (isspace(*s)) s++;
3225 if (*s == '}')
3226   {
3227   if (type[0] == 'i')
3228     {
3229     if (yes && !skipping)
3230       *yieldptr = string_catn(*yieldptr, US"true", 4);
3231     }
3232   else
3233     {
3234     if (yes && lookup_value && !skipping)
3235       *yieldptr = string_cat(*yieldptr, lookup_value);
3236     lookup_value = save_lookup;
3237     }
3238   s++;
3239   goto RETURN;
3240   }
3241
3242 /* The first following string must be braced. */
3243
3244 if (*s++ != '{')
3245   {
3246   errwhere = US"'yes' part did not start with '{'";
3247   goto FAILED_CURLY;
3248   }
3249
3250 /* Expand the first substring. Forced failures are noticed only if we actually
3251 want this string. Set skipping in the call in the fail case (this will always
3252 be the case if we were already skipping). */
3253
3254 sub1 = expand_string_internal(s, TRUE, &s, !yes, TRUE, resetok);
3255 if (sub1 == NULL && (yes || !expand_string_forcedfail)) goto FAILED;
3256 expand_string_forcedfail = FALSE;
3257 if (*s++ != '}')
3258   {
3259   errwhere = US"'yes' part did not end with '}'";
3260   goto FAILED_CURLY;
3261   }
3262
3263 /* If we want the first string, add it to the output */
3264
3265 if (yes)
3266   *yieldptr = string_cat(*yieldptr, sub1);
3267
3268 /* If this is called from a lookup/env or a (cert)extract, we want to restore
3269 $value to what it was at the start of the item, so that it has this value
3270 during the second string expansion. For the call from "if" or "run" to this
3271 function, save_lookup is set to lookup_value, so that this statement does
3272 nothing. */
3273
3274 lookup_value = save_lookup;
3275
3276 /* There now follows either another substring, or "fail", or nothing. This
3277 time, forced failures are noticed only if we want the second string. We must
3278 set skipping in the nested call if we don't want this string, or if we were
3279 already skipping. */
3280
3281 while (isspace(*s)) s++;
3282 if (*s == '{')
3283   {
3284   sub2 = expand_string_internal(s+1, TRUE, &s, yes || skipping, TRUE, resetok);
3285   if (sub2 == NULL && (!yes || !expand_string_forcedfail)) goto FAILED;
3286   expand_string_forcedfail = FALSE;
3287   if (*s++ != '}')
3288     {
3289     errwhere = US"'no' part did not start with '{'";
3290     goto FAILED_CURLY;
3291     }
3292
3293   /* If we want the second string, add it to the output */
3294
3295   if (!yes)
3296     *yieldptr = string_cat(*yieldptr, sub2);
3297   }
3298
3299 /* If there is no second string, but the word "fail" is present when the use of
3300 the second string is wanted, set a flag indicating it was a forced failure
3301 rather than a syntactic error. Swallow the terminating } in case this is nested
3302 inside another lookup or if or extract. */
3303
3304 else if (*s != '}')
3305   {
3306   uschar name[256];
3307   /* deconst cast ok here as source is s anyway */
3308   s = US read_name(name, sizeof(name), s, US"_");
3309   if (Ustrcmp(name, "fail") == 0)
3310     {
3311     if (!yes && !skipping)
3312       {
3313       while (isspace(*s)) s++;
3314       if (*s++ != '}')
3315         {
3316         errwhere = US"did not close with '}' after forcedfail";
3317         goto FAILED_CURLY;
3318         }
3319       expand_string_message =
3320         string_sprintf("\"%s\" failed and \"fail\" requested", type);
3321       expand_string_forcedfail = TRUE;
3322       goto FAILED;
3323       }
3324     }
3325   else
3326     {
3327     expand_string_message =
3328       string_sprintf("syntax error in \"%s\" item - \"fail\" expected", type);
3329     goto FAILED;
3330     }
3331   }
3332
3333 /* All we have to do now is to check on the final closing brace. */
3334
3335 while (isspace(*s)) s++;
3336 if (*s++ != '}')
3337   {
3338   errwhere = US"did not close with '}'";
3339   goto FAILED_CURLY;
3340   }
3341
3342
3343 RETURN:
3344 /* Update the input pointer value before returning */
3345 *sptr = s;
3346 return rc;
3347
3348 FAILED_CURLY:
3349   /* Get here if there is a bracketing failure */
3350   expand_string_message = string_sprintf(
3351     "curly-bracket problem in conditional yes/no parsing: %s\n"
3352     " remaining string is '%s'", errwhere, --s);
3353   rc = 2;
3354   goto RETURN;
3355
3356 FAILED:
3357   /* Get here for other failures */
3358   rc = 1;
3359   goto RETURN;
3360 }
3361
3362
3363
3364
3365 /*************************************************
3366 *    Handle MD5 or SHA-1 computation for HMAC    *
3367 *************************************************/
3368
3369 /* These are some wrapping functions that enable the HMAC code to be a bit
3370 cleaner. A good compiler will spot the tail recursion.
3371
3372 Arguments:
3373   type         HMAC_MD5 or HMAC_SHA1
3374   remaining    are as for the cryptographic hash functions
3375
3376 Returns:       nothing
3377 */
3378
3379 static void
3380 chash_start(int type, void *base)
3381 {
3382 if (type == HMAC_MD5)
3383   md5_start((md5 *)base);
3384 else
3385   sha1_start((hctx *)base);
3386 }
3387
3388 static void
3389 chash_mid(int type, void *base, uschar *string)
3390 {
3391 if (type == HMAC_MD5)
3392   md5_mid((md5 *)base, string);
3393 else
3394   sha1_mid((hctx *)base, string);
3395 }
3396
3397 static void
3398 chash_end(int type, void *base, uschar *string, int length, uschar *digest)
3399 {
3400 if (type == HMAC_MD5)
3401   md5_end((md5 *)base, string, length, digest);
3402 else
3403   sha1_end((hctx *)base, string, length, digest);
3404 }
3405
3406
3407
3408
3409
3410 /********************************************************
3411 * prvs: Get last three digits of days since Jan 1, 1970 *
3412 ********************************************************/
3413
3414 /* This is needed to implement the "prvs" BATV reverse
3415    path signing scheme
3416
3417 Argument: integer "days" offset to add or substract to
3418           or from the current number of days.
3419
3420 Returns:  pointer to string containing the last three
3421           digits of the number of days since Jan 1, 1970,
3422           modified by the offset argument, NULL if there
3423           was an error in the conversion.
3424
3425 */
3426
3427 static uschar *
3428 prvs_daystamp(int day_offset)
3429 {
3430 uschar *days = store_get(32);                /* Need at least 24 for cases */
3431 (void)string_format(days, 32, TIME_T_FMT,    /* where TIME_T_FMT is %lld */
3432   (time(NULL) + day_offset*86400)/86400);
3433 return (Ustrlen(days) >= 3) ? &days[Ustrlen(days)-3] : US"100";
3434 }
3435
3436
3437
3438 /********************************************************
3439 *   prvs: perform HMAC-SHA1 computation of prvs bits    *
3440 ********************************************************/
3441
3442 /* This is needed to implement the "prvs" BATV reverse
3443    path signing scheme
3444
3445 Arguments:
3446   address RFC2821 Address to use
3447       key The key to use (must be less than 64 characters
3448           in size)
3449   key_num Single-digit key number to use. Defaults to
3450           '0' when NULL.
3451
3452 Returns:  pointer to string containing the first three
3453           bytes of the final hash in hex format, NULL if
3454           there was an error in the process.
3455 */
3456
3457 static uschar *
3458 prvs_hmac_sha1(uschar *address, uschar *key, uschar *key_num, uschar *daystamp)
3459 {
3460 gstring * hash_source;
3461 uschar * p;
3462 int i;
3463 hctx h;
3464 uschar innerhash[20];
3465 uschar finalhash[20];
3466 uschar innerkey[64];
3467 uschar outerkey[64];
3468 uschar *finalhash_hex = store_get(40);
3469
3470 if (key_num == NULL)
3471   key_num = US"0";
3472
3473 if (Ustrlen(key) > 64)
3474   return NULL;
3475
3476 hash_source = string_catn(NULL, key_num, 1);
3477 hash_source = string_catn(hash_source, daystamp, 3);
3478 hash_source = string_cat(hash_source, address);
3479 (void) string_from_gstring(hash_source);
3480
3481 DEBUG(D_expand)
3482   debug_printf_indent("prvs: hash source is '%s'\n", hash_source->s);
3483
3484 memset(innerkey, 0x36, 64);
3485 memset(outerkey, 0x5c, 64);
3486
3487 for (i = 0; i < Ustrlen(key); i++)
3488   {
3489   innerkey[i] ^= key[i];
3490   outerkey[i] ^= key[i];
3491   }
3492
3493 chash_start(HMAC_SHA1, &h);
3494 chash_mid(HMAC_SHA1, &h, innerkey);
3495 chash_end(HMAC_SHA1, &h, hash_source->s, hash_source->ptr, innerhash);
3496
3497 chash_start(HMAC_SHA1, &h);
3498 chash_mid(HMAC_SHA1, &h, outerkey);
3499 chash_end(HMAC_SHA1, &h, innerhash, 20, finalhash);
3500
3501 p = finalhash_hex;
3502 for (i = 0; i < 3; i++)
3503   {
3504   *p++ = hex_digits[(finalhash[i] & 0xf0) >> 4];
3505   *p++ = hex_digits[finalhash[i] & 0x0f];
3506   }
3507 *p = '\0';
3508
3509 return finalhash_hex;
3510 }
3511
3512
3513
3514
3515 /*************************************************
3516 *        Join a file onto the output string      *
3517 *************************************************/
3518
3519 /* This is used for readfile/readsock and after a run expansion.
3520 It joins the contents of a file onto the output string, globally replacing
3521 newlines with a given string (optionally).
3522
3523 Arguments:
3524   f            the FILE
3525   yield        pointer to the expandable string struct
3526   eol          newline replacement string, or NULL
3527
3528 Returns:       new pointer for expandable string, terminated if non-null
3529 */
3530
3531 static gstring *
3532 cat_file(FILE *f, gstring *yield, uschar *eol)
3533 {
3534 uschar buffer[1024];
3535
3536 while (Ufgets(buffer, sizeof(buffer), f))
3537   {
3538   int len = Ustrlen(buffer);
3539   if (eol && buffer[len-1] == '\n') len--;
3540   yield = string_catn(yield, buffer, len);
3541   if (eol && buffer[len])
3542     yield = string_cat(yield, eol);
3543   }
3544
3545 (void) string_from_gstring(yield);
3546 return yield;
3547 }
3548
3549
3550
3551
3552 /*************************************************
3553 *          Evaluate numeric expression           *
3554 *************************************************/
3555
3556 /* This is a set of mutually recursive functions that evaluate an arithmetic
3557 expression involving + - * / % & | ^ ~ << >> and parentheses. The only one of
3558 these functions that is called from elsewhere is eval_expr, whose interface is:
3559
3560 Arguments:
3561   sptr        pointer to the pointer to the string - gets updated
3562   decimal     TRUE if numbers are to be assumed decimal
3563   error       pointer to where to put an error message - must be NULL on input
3564   endket      TRUE if ')' must terminate - FALSE for external call
3565
3566 Returns:      on success: the value of the expression, with *error still NULL
3567               on failure: an undefined value, with *error = a message
3568 */
3569
3570 static int_eximarith_t eval_op_or(uschar **, BOOL, uschar **);
3571
3572
3573 static int_eximarith_t
3574 eval_expr(uschar **sptr, BOOL decimal, uschar **error, BOOL endket)
3575 {
3576 uschar *s = *sptr;
3577 int_eximarith_t x = eval_op_or(&s, decimal, error);
3578 if (*error == NULL)
3579   {
3580   if (endket)
3581     {
3582     if (*s != ')')
3583       *error = US"expecting closing parenthesis";
3584     else
3585       while (isspace(*(++s)));
3586     }
3587   else if (*s != 0) *error = US"expecting operator";
3588   }
3589 *sptr = s;
3590 return x;
3591 }
3592
3593
3594 static int_eximarith_t
3595 eval_number(uschar **sptr, BOOL decimal, uschar **error)
3596 {
3597 register int c;
3598 int_eximarith_t n;
3599 uschar *s = *sptr;
3600 while (isspace(*s)) s++;
3601 c = *s;
3602 if (isdigit(c))
3603   {
3604   int count;
3605   (void)sscanf(CS s, (decimal? SC_EXIM_DEC "%n" : SC_EXIM_ARITH "%n"), &n, &count);
3606   s += count;
3607   switch (tolower(*s))
3608     {
3609     default: break;
3610     case 'k': n *= 1024; s++; break;
3611     case 'm': n *= 1024*1024; s++; break;
3612     case 'g': n *= 1024*1024*1024; s++; break;
3613     }
3614   while (isspace (*s)) s++;
3615   }
3616 else if (c == '(')
3617   {
3618   s++;
3619   n = eval_expr(&s, decimal, error, 1);
3620   }
3621 else
3622   {
3623   *error = US"expecting number or opening parenthesis";
3624   n = 0;
3625   }
3626 *sptr = s;
3627 return n;
3628 }
3629
3630
3631 static int_eximarith_t
3632 eval_op_unary(uschar **sptr, BOOL decimal, uschar **error)
3633 {
3634 uschar *s = *sptr;
3635 int_eximarith_t x;
3636 while (isspace(*s)) s++;
3637 if (*s == '+' || *s == '-' || *s == '~')
3638   {
3639   int op = *s++;
3640   x = eval_op_unary(&s, decimal, error);
3641   if (op == '-') x = -x;
3642     else if (op == '~') x = ~x;
3643   }
3644 else
3645   {
3646   x = eval_number(&s, decimal, error);
3647   }
3648 *sptr = s;
3649 return x;
3650 }
3651
3652
3653 static int_eximarith_t
3654 eval_op_mult(uschar **sptr, BOOL decimal, uschar **error)
3655 {
3656 uschar *s = *sptr;
3657 int_eximarith_t x = eval_op_unary(&s, decimal, error);
3658 if (*error == NULL)
3659   {
3660   while (*s == '*' || *s == '/' || *s == '%')
3661     {
3662     int op = *s++;
3663     int_eximarith_t y = eval_op_unary(&s, decimal, error);
3664     if (*error != NULL) break;
3665     /* SIGFPE both on div/mod by zero and on INT_MIN / -1, which would give
3666      * a value of INT_MAX+1. Note that INT_MIN * -1 gives INT_MIN for me, which
3667      * is a bug somewhere in [gcc 4.2.1, FreeBSD, amd64].  In fact, -N*-M where
3668      * -N*M is INT_MIN will yield INT_MIN.
3669      * Since we don't support floating point, this is somewhat simpler.
3670      * Ideally, we'd return an error, but since we overflow for all other
3671      * arithmetic, consistency suggests otherwise, but what's the correct value
3672      * to use?  There is none.
3673      * The C standard guarantees overflow for unsigned arithmetic but signed
3674      * overflow invokes undefined behaviour; in practice, this is overflow
3675      * except for converting INT_MIN to INT_MAX+1.  We also can't guarantee
3676      * that long/longlong larger than int are available, or we could just work
3677      * with larger types.  We should consider whether to guarantee 32bit eval
3678      * and 64-bit working variables, with errors returned.  For now ...
3679      * So, the only SIGFPEs occur with a non-shrinking div/mod, thus -1; we
3680      * can just let the other invalid results occur otherwise, as they have
3681      * until now.  For this one case, we can coerce.
3682      */
3683     if (y == -1 && x == EXIM_ARITH_MIN && op != '*')
3684       {
3685       DEBUG(D_expand)
3686         debug_printf("Integer exception dodging: " PR_EXIM_ARITH "%c-1 coerced to " PR_EXIM_ARITH "\n",
3687             EXIM_ARITH_MIN, op, EXIM_ARITH_MAX);
3688       x = EXIM_ARITH_MAX;
3689       continue;
3690       }
3691     if (op == '*')
3692       x *= y;
3693     else
3694       {
3695       if (y == 0)
3696         {
3697         *error = (op == '/') ? US"divide by zero" : US"modulo by zero";
3698         x = 0;
3699         break;
3700         }
3701       if (op == '/')
3702         x /= y;
3703       else
3704         x %= y;
3705       }
3706     }
3707   }
3708 *sptr = s;
3709 return x;
3710 }
3711
3712
3713 static int_eximarith_t
3714 eval_op_sum(uschar **sptr, BOOL decimal, uschar **error)
3715 {
3716 uschar *s = *sptr;
3717 int_eximarith_t x = eval_op_mult(&s, decimal, error);
3718 if (!*error)
3719   {
3720   while (*s == '+' || *s == '-')
3721     {
3722     int op = *s++;
3723     int_eximarith_t y = eval_op_mult(&s, decimal, error);
3724     if (*error) break;
3725     if (  (x >=   EXIM_ARITH_MAX/2  && x >=   EXIM_ARITH_MAX/2)
3726        || (x <= -(EXIM_ARITH_MAX/2) && y <= -(EXIM_ARITH_MAX/2)))
3727       {                 /* over-conservative check */
3728       *error = op == '+'
3729         ? US"overflow in sum" : US"overflow in difference";
3730       break;
3731       }
3732     if (op == '+') x += y; else x -= y;
3733     }
3734   }
3735 *sptr = s;
3736 return x;
3737 }
3738
3739
3740 static int_eximarith_t
3741 eval_op_shift(uschar **sptr, BOOL decimal, uschar **error)
3742 {
3743 uschar *s = *sptr;
3744 int_eximarith_t x = eval_op_sum(&s, decimal, error);
3745 if (*error == NULL)
3746   {
3747   while ((*s == '<' || *s == '>') && s[1] == s[0])
3748     {
3749     int_eximarith_t y;
3750     int op = *s++;
3751     s++;
3752     y = eval_op_sum(&s, decimal, error);
3753     if (*error != NULL) break;
3754     if (op == '<') x <<= y; else x >>= y;
3755     }
3756   }
3757 *sptr = s;
3758 return x;
3759 }
3760
3761
3762 static int_eximarith_t
3763 eval_op_and(uschar **sptr, BOOL decimal, uschar **error)
3764 {
3765 uschar *s = *sptr;
3766 int_eximarith_t x = eval_op_shift(&s, decimal, error);
3767 if (*error == NULL)
3768   {
3769   while (*s == '&')
3770     {
3771     int_eximarith_t y;
3772     s++;
3773     y = eval_op_shift(&s, decimal, error);
3774     if (*error != NULL) break;
3775     x &= y;
3776     }
3777   }
3778 *sptr = s;
3779 return x;
3780 }
3781
3782
3783 static int_eximarith_t
3784 eval_op_xor(uschar **sptr, BOOL decimal, uschar **error)
3785 {
3786 uschar *s = *sptr;
3787 int_eximarith_t x = eval_op_and(&s, decimal, error);
3788 if (*error == NULL)
3789   {
3790   while (*s == '^')
3791     {
3792     int_eximarith_t y;
3793     s++;
3794     y = eval_op_and(&s, decimal, error);
3795     if (*error != NULL) break;
3796     x ^= y;
3797     }
3798   }
3799 *sptr = s;
3800 return x;
3801 }
3802
3803
3804 static int_eximarith_t
3805 eval_op_or(uschar **sptr, BOOL decimal, uschar **error)
3806 {
3807 uschar *s = *sptr;
3808 int_eximarith_t x = eval_op_xor(&s, decimal, error);
3809 if (*error == NULL)
3810   {
3811   while (*s == '|')
3812     {
3813     int_eximarith_t y;
3814     s++;
3815     y = eval_op_xor(&s, decimal, error);
3816     if (*error != NULL) break;
3817     x |= y;
3818     }
3819   }
3820 *sptr = s;
3821 return x;
3822 }
3823
3824
3825
3826 /*************************************************
3827 *                 Expand string                  *
3828 *************************************************/
3829
3830 /* Returns either an unchanged string, or the expanded string in stacking pool
3831 store. Interpreted sequences are:
3832
3833    \...                    normal escaping rules
3834    $name                   substitutes the variable
3835    ${name}                 ditto
3836    ${op:string}            operates on the expanded string value
3837    ${item{arg1}{arg2}...}  expands the args and then does the business
3838                              some literal args are not enclosed in {}
3839
3840 There are now far too many operators and item types to make it worth listing
3841 them here in detail any more.
3842
3843 We use an internal routine recursively to handle embedded substrings. The
3844 external function follows. The yield is NULL if the expansion failed, and there
3845 are two cases: if something collapsed syntactically, or if "fail" was given
3846 as the action on a lookup failure. These can be distinguished by looking at the
3847 variable expand_string_forcedfail, which is TRUE in the latter case.
3848
3849 The skipping flag is set true when expanding a substring that isn't actually
3850 going to be used (after "if" or "lookup") and it prevents lookups from
3851 happening lower down.
3852
3853 Store usage: At start, a store block of the length of the input plus 64
3854 is obtained. This is expanded as necessary by string_cat(), which might have to
3855 get a new block, or might be able to expand the original. At the end of the
3856 function we can release any store above that portion of the yield block that
3857 was actually used. In many cases this will be optimal.
3858
3859 However: if the first item in the expansion is a variable name or header name,
3860 we reset the store before processing it; if the result is in fresh store, we
3861 use that without copying. This is helpful for expanding strings like
3862 $message_headers which can get very long.
3863
3864 There's a problem if a ${dlfunc item has side-effects that cause allocation,
3865 since resetting the store at the end of the expansion will free store that was
3866 allocated by the plugin code as well as the slop after the expanded string. So
3867 we skip any resets if ${dlfunc } has been used. The same applies for ${acl }
3868 and, given the acl condition, ${if }. This is an unfortunate consequence of
3869 string expansion becoming too powerful.
3870
3871 Arguments:
3872   string         the string to be expanded
3873   ket_ends       true if expansion is to stop at }
3874   left           if not NULL, a pointer to the first character after the
3875                  expansion is placed here (typically used with ket_ends)
3876   skipping       TRUE for recursive calls when the value isn't actually going
3877                  to be used (to allow for optimisation)
3878   honour_dollar  TRUE if $ is to be expanded,
3879                  FALSE if it's just another character
3880   resetok_p      if not NULL, pointer to flag - write FALSE if unsafe to reset
3881                  the store.
3882
3883 Returns:         NULL if expansion fails:
3884                    expand_string_forcedfail is set TRUE if failure was forced
3885                    expand_string_message contains a textual error message
3886                  a pointer to the expanded string on success
3887 */
3888
3889 static uschar *
3890 expand_string_internal(const uschar *string, BOOL ket_ends, const uschar **left,
3891   BOOL skipping, BOOL honour_dollar, BOOL *resetok_p)
3892 {
3893 gstring * yield = string_get(Ustrlen(string) + 64);
3894 int item_type;
3895 const uschar *s = string;
3896 uschar *save_expand_nstring[EXPAND_MAXN+1];
3897 int save_expand_nlength[EXPAND_MAXN+1];
3898 BOOL resetok = TRUE;
3899
3900 expand_level++;
3901 DEBUG(D_expand)
3902   debug_printf_indent(UTF8_DOWN_RIGHT "%s: %s\n",
3903     skipping
3904     ? UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ "scanning"
3905     : "considering",
3906     string);
3907
3908 expand_string_forcedfail = FALSE;
3909 expand_string_message = US"";
3910
3911 while (*s != 0)
3912   {
3913   uschar *value;
3914   uschar name[256];
3915
3916   /* \ escapes the next character, which must exist, or else
3917   the expansion fails. There's a special escape, \N, which causes
3918   copying of the subject verbatim up to the next \N. Otherwise,
3919   the escapes are the standard set. */
3920
3921   if (*s == '\\')
3922     {
3923     if (s[1] == 0)
3924       {
3925       expand_string_message = US"\\ at end of string";
3926       goto EXPAND_FAILED;
3927       }
3928
3929     if (s[1] == 'N')
3930       {
3931       const uschar * t = s + 2;
3932       for (s = t; *s != 0; s++) if (*s == '\\' && s[1] == 'N') break;
3933       yield = string_catn(yield, t, s - t);
3934       if (*s != 0) s += 2;
3935       }
3936
3937     else
3938       {
3939       uschar ch[1];
3940       ch[0] = string_interpret_escape(&s);
3941       s++;
3942       yield = string_catn(yield, ch, 1);
3943       }
3944
3945     continue;
3946     }
3947
3948   /*{*/
3949   /* Anything other than $ is just copied verbatim, unless we are
3950   looking for a terminating } character. */
3951
3952   /*{*/
3953   if (ket_ends && *s == '}') break;
3954
3955   if (*s != '$' || !honour_dollar)
3956     {
3957     yield = string_catn(yield, s++, 1);
3958     continue;
3959     }
3960
3961   /* No { after the $ - must be a plain name or a number for string
3962   match variable. There has to be a fudge for variables that are the
3963   names of header fields preceded by "$header_" because header field
3964   names can contain any printing characters except space and colon.
3965   For those that don't like typing this much, "$h_" is a synonym for
3966   "$header_". A non-existent header yields a NULL value; nothing is
3967   inserted. */  /*}*/
3968
3969   if (isalpha((*(++s))))
3970     {
3971     int len;
3972     int newsize = 0;
3973     gstring * g = NULL;
3974     uschar * t;
3975
3976     s = read_name(name, sizeof(name), s, US"_");
3977
3978     /* If this is the first thing to be expanded, release the pre-allocated
3979     buffer. */
3980
3981     if (!yield)
3982       g = store_get(sizeof(gstring));
3983     else if (yield->ptr == 0)
3984       {
3985       if (resetok) store_reset(yield);
3986       yield = NULL;
3987       g = store_get(sizeof(gstring));   /* alloc _before_ calling find_variable() */
3988       }
3989
3990     /* Header */
3991
3992     if (  ( *(t = name) == 'h'
3993           || (*t == 'r' || *t == 'l' || *t == 'b') && *++t == 'h'
3994           )
3995        && (*++t == '_' || Ustrncmp(t, "eader_", 6) == 0)
3996        )
3997       {
3998       unsigned flags = *name == 'r' ? FH_WANT_RAW
3999                       : *name == 'l' ? FH_WANT_RAW|FH_WANT_LIST
4000                       : 0;
4001       uschar * charset = *name == 'b' ? NULL : headers_charset;
4002
4003       s = read_header_name(name, sizeof(name), s);
4004       value = find_header(name, &newsize, flags, charset);
4005
4006       /* If we didn't find the header, and the header contains a closing brace
4007       character, this may be a user error where the terminating colon
4008       has been omitted. Set a flag to adjust the error message in this case.
4009       But there is no error here - nothing gets inserted. */
4010
4011       if (!value)
4012         {
4013         if (Ustrchr(name, '}') != NULL) malformed_header = TRUE;
4014         continue;
4015         }
4016       }
4017
4018     /* Variable */
4019
4020     else if (!(value = find_variable(name, FALSE, skipping, &newsize)))
4021       {
4022       expand_string_message =
4023         string_sprintf("unknown variable name \"%s\"", name);
4024         check_variable_error_message(name);
4025       goto EXPAND_FAILED;
4026       }
4027
4028     /* If the data is known to be in a new buffer, newsize will be set to the
4029     size of that buffer. If this is the first thing in an expansion string,
4030     yield will be NULL; just point it at the new store instead of copying. Many
4031     expansion strings contain just one reference, so this is a useful
4032     optimization, especially for humungous headers.  We need to use a gstring
4033     structure that is not allocated after that new-buffer, else a later store
4034     reset in the middle of the buffer will make it inaccessible. */
4035
4036     len = Ustrlen(value);
4037     if (!yield && newsize != 0)
4038       {
4039       yield = g;
4040       yield->size = newsize;
4041       yield->ptr = len;
4042       yield->s = value;
4043       }
4044     else
4045       yield = string_catn(yield, value, len);
4046
4047     continue;
4048     }
4049
4050   if (isdigit(*s))
4051     {
4052     int n;
4053     s = read_cnumber(&n, s);
4054     if (n >= 0 && n <= expand_nmax)
4055       yield = string_catn(yield, expand_nstring[n], expand_nlength[n]);
4056     continue;
4057     }
4058
4059   /* Otherwise, if there's no '{' after $ it's an error. */             /*}*/
4060
4061   if (*s != '{')                                                        /*}*/
4062     {
4063     expand_string_message = US"$ not followed by letter, digit, or {";  /*}*/
4064     goto EXPAND_FAILED;
4065     }
4066
4067   /* After { there can be various things, but they all start with
4068   an initial word, except for a number for a string match variable. */
4069
4070   if (isdigit((*(++s))))
4071     {
4072     int n;
4073     s = read_cnumber(&n, s);            /*{*/
4074     if (*s++ != '}')
4075       {                                 /*{*/
4076       expand_string_message = US"} expected after number";
4077       goto EXPAND_FAILED;
4078       }
4079     if (n >= 0 && n <= expand_nmax)
4080       yield = string_catn(yield, expand_nstring[n], expand_nlength[n]);
4081     continue;
4082     }
4083
4084   if (!isalpha(*s))
4085     {
4086     expand_string_message = US"letter or digit expected after ${";      /*}*/
4087     goto EXPAND_FAILED;
4088     }
4089
4090   /* Allow "-" in names to cater for substrings with negative
4091   arguments. Since we are checking for known names after { this is
4092   OK. */
4093
4094   s = read_name(name, sizeof(name), s, US"_-");
4095   item_type = chop_match(name, item_table, nelem(item_table));
4096
4097   switch(item_type)
4098     {
4099     /* Call an ACL from an expansion.  We feed data in via $acl_arg1 - $acl_arg9.
4100     If the ACL returns accept or reject we return content set by "message ="
4101     There is currently no limit on recursion; this would have us call
4102     acl_check_internal() directly and get a current level from somewhere.
4103     See also the acl expansion condition ECOND_ACL and the traditional
4104     acl modifier ACLC_ACL.
4105     Assume that the function has side-effects on the store that must be preserved.
4106     */
4107
4108     case EITEM_ACL:
4109       /* ${acl {name} {arg1}{arg2}...} */
4110       {
4111       uschar *sub[10];  /* name + arg1-arg9 (which must match number of acl_arg[]) */
4112       uschar *user_msg;
4113
4114       switch(read_subs(sub, nelem(sub), 1, &s, skipping, TRUE, US"acl",
4115                       &resetok))
4116         {
4117         case 1: goto EXPAND_FAILED_CURLY;
4118         case 2:
4119         case 3: goto EXPAND_FAILED;
4120         }
4121       if (skipping) continue;
4122
4123       resetok = FALSE;
4124       switch(eval_acl(sub, nelem(sub), &user_msg))
4125         {
4126         case OK:
4127         case FAIL:
4128           DEBUG(D_expand)
4129             debug_printf_indent("acl expansion yield: %s\n", user_msg);
4130           if (user_msg)
4131             yield = string_cat(yield, user_msg);
4132           continue;
4133
4134         case DEFER:
4135           expand_string_forcedfail = TRUE;
4136           /*FALLTHROUGH*/
4137         default:
4138           expand_string_message = string_sprintf("error from acl \"%s\"", sub[0]);
4139           goto EXPAND_FAILED;
4140         }
4141       }
4142
4143     case EITEM_AUTHRESULTS:
4144       /* ${authresults {mysystemname}} */
4145       {
4146       uschar *sub_arg[1];
4147
4148       switch(read_subs(sub_arg, nelem(sub_arg), 1, &s, skipping, TRUE, name,
4149                       &resetok))
4150         {
4151         case 1: goto EXPAND_FAILED_CURLY;
4152         case 2:
4153         case 3: goto EXPAND_FAILED;
4154         }
4155
4156       yield = string_append(yield, 3,
4157                         US"Authentication-Results: ", sub_arg[0], US"; none");
4158       yield->ptr -= 6;
4159
4160       yield = authres_local(yield, sub_arg[0]);
4161       yield = authres_iprev(yield);
4162       yield = authres_smtpauth(yield);
4163 #ifdef SUPPORT_SPF
4164       yield = authres_spf(yield);
4165 #endif
4166 #ifndef DISABLE_DKIM
4167       yield = authres_dkim(yield);
4168 #endif
4169 #ifdef EXPERIMENTAL_DMARC
4170       yield = authres_dmarc(yield);
4171 #endif
4172 #ifdef EXPERIMENTAL_ARC
4173       yield = authres_arc(yield);
4174 #endif
4175       continue;
4176       }
4177
4178     /* Handle conditionals - preserve the values of the numerical expansion
4179     variables in case they get changed by a regular expression match in the
4180     condition. If not, they retain their external settings. At the end
4181     of this "if" section, they get restored to their previous values. */
4182
4183     case EITEM_IF:
4184       {
4185       BOOL cond = FALSE;
4186       const uschar *next_s;
4187       int save_expand_nmax =
4188         save_expand_strings(save_expand_nstring, save_expand_nlength);
4189
4190       while (isspace(*s)) s++;
4191       next_s = eval_condition(s, &resetok, skipping ? NULL : &cond);
4192       if (next_s == NULL) goto EXPAND_FAILED;  /* message already set */
4193
4194       DEBUG(D_expand)
4195         {
4196         debug_printf_indent(UTF8_VERT_RIGHT UTF8_HORIZ UTF8_HORIZ
4197           "condition: %.*s\n",
4198           (int)(next_s - s), s);
4199         debug_printf_indent(UTF8_VERT_RIGHT UTF8_HORIZ UTF8_HORIZ
4200           UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ
4201           "result: %s\n",
4202           cond ? "true" : "false");
4203         }
4204
4205       s = next_s;
4206
4207       /* The handling of "yes" and "no" result strings is now in a separate
4208       function that is also used by ${lookup} and ${extract} and ${run}. */
4209
4210       switch(process_yesno(
4211                skipping,                     /* were previously skipping */
4212                cond,                         /* success/failure indicator */
4213                lookup_value,                 /* value to reset for string2 */
4214                &s,                           /* input pointer */
4215                &yield,                       /* output pointer */
4216                US"if",                       /* condition type */
4217                &resetok))
4218         {
4219         case 1: goto EXPAND_FAILED;          /* when all is well, the */
4220         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
4221         }
4222
4223       /* Restore external setting of expansion variables for continuation
4224       at this level. */
4225
4226       restore_expand_strings(save_expand_nmax, save_expand_nstring,
4227         save_expand_nlength);
4228       continue;
4229       }
4230
4231 #ifdef SUPPORT_I18N
4232     case EITEM_IMAPFOLDER:
4233       {                         /* ${imapfolder {name}{sep]{specials}} */
4234       uschar *sub_arg[3];
4235       uschar *encoded;
4236
4237       switch(read_subs(sub_arg, nelem(sub_arg), 1, &s, skipping, TRUE, name,
4238                       &resetok))
4239         {
4240         case 1: goto EXPAND_FAILED_CURLY;
4241         case 2:
4242         case 3: goto EXPAND_FAILED;
4243         }
4244
4245       if (sub_arg[1] == NULL)           /* One argument */
4246         {
4247         sub_arg[1] = US"/";             /* default separator */
4248         sub_arg[2] = NULL;
4249         }
4250       else if (Ustrlen(sub_arg[1]) != 1)
4251         {
4252         expand_string_message =
4253           string_sprintf(
4254                 "IMAP folder separator must be one character, found \"%s\"",
4255                 sub_arg[1]);
4256         goto EXPAND_FAILED;
4257         }
4258
4259       if (!skipping)
4260         {
4261         if (!(encoded = imap_utf7_encode(sub_arg[0], headers_charset,
4262                             sub_arg[1][0], sub_arg[2], &expand_string_message)))
4263           goto EXPAND_FAILED;
4264         yield = string_cat(yield, encoded);
4265         }
4266       continue;
4267       }
4268 #endif
4269
4270     /* Handle database lookups unless locked out. If "skipping" is TRUE, we are
4271     expanding an internal string that isn't actually going to be used. All we
4272     need to do is check the syntax, so don't do a lookup at all. Preserve the
4273     values of the numerical expansion variables in case they get changed by a
4274     partial lookup. If not, they retain their external settings. At the end
4275     of this "lookup" section, they get restored to their previous values. */
4276
4277     case EITEM_LOOKUP:
4278       {
4279       int stype, partial, affixlen, starflags;
4280       int expand_setup = 0;
4281       int nameptr = 0;
4282       uschar *key, *filename;
4283       const uschar *affix;
4284       uschar *save_lookup_value = lookup_value;
4285       int save_expand_nmax =
4286         save_expand_strings(save_expand_nstring, save_expand_nlength);
4287
4288       if ((expand_forbid & RDO_LOOKUP) != 0)
4289         {
4290         expand_string_message = US"lookup expansions are not permitted";
4291         goto EXPAND_FAILED;
4292         }
4293
4294       /* Get the key we are to look up for single-key+file style lookups.
4295       Otherwise set the key NULL pro-tem. */
4296
4297       while (isspace(*s)) s++;
4298       if (*s == '{')                                    /*}*/
4299         {
4300         key = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
4301         if (!key) goto EXPAND_FAILED;                   /*{{*/
4302         if (*s++ != '}')
4303           {
4304           expand_string_message = US"missing '}' after lookup key";
4305           goto EXPAND_FAILED_CURLY;
4306           }
4307         while (isspace(*s)) s++;
4308         }
4309       else key = NULL;
4310
4311       /* Find out the type of database */
4312
4313       if (!isalpha(*s))
4314         {
4315         expand_string_message = US"missing lookup type";
4316         goto EXPAND_FAILED;
4317         }
4318
4319       /* The type is a string that may contain special characters of various
4320       kinds. Allow everything except space or { to appear; the actual content
4321       is checked by search_findtype_partial. */         /*}*/
4322
4323       while (*s != 0 && *s != '{' && !isspace(*s))      /*}*/
4324         {
4325         if (nameptr < sizeof(name) - 1) name[nameptr++] = *s;
4326         s++;
4327         }
4328       name[nameptr] = 0;
4329       while (isspace(*s)) s++;
4330
4331       /* Now check for the individual search type and any partial or default
4332       options. Only those types that are actually in the binary are valid. */
4333
4334       stype = search_findtype_partial(name, &partial, &affix, &affixlen,
4335         &starflags);
4336       if (stype < 0)
4337         {
4338         expand_string_message = search_error_message;
4339         goto EXPAND_FAILED;
4340         }
4341
4342       /* Check that a key was provided for those lookup types that need it,
4343       and was not supplied for those that use the query style. */
4344
4345       if (!mac_islookup(stype, lookup_querystyle|lookup_absfilequery))
4346         {
4347         if (key == NULL)
4348           {
4349           expand_string_message = string_sprintf("missing {key} for single-"
4350             "key \"%s\" lookup", name);
4351           goto EXPAND_FAILED;
4352           }
4353         }
4354       else
4355         {
4356         if (key != NULL)
4357           {
4358           expand_string_message = string_sprintf("a single key was given for "
4359             "lookup type \"%s\", which is not a single-key lookup type", name);
4360           goto EXPAND_FAILED;
4361           }
4362         }
4363
4364       /* Get the next string in brackets and expand it. It is the file name for
4365       single-key+file lookups, and the whole query otherwise. In the case of
4366       queries that also require a file name (e.g. sqlite), the file name comes
4367       first. */
4368
4369       if (*s != '{')
4370         {
4371         expand_string_message = US"missing '{' for lookup file-or-query arg";
4372         goto EXPAND_FAILED_CURLY;
4373         }
4374       filename = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
4375       if (filename == NULL) goto EXPAND_FAILED;
4376       if (*s++ != '}')
4377         {
4378         expand_string_message = US"missing '}' closing lookup file-or-query arg";
4379         goto EXPAND_FAILED_CURLY;
4380         }
4381       while (isspace(*s)) s++;
4382
4383       /* If this isn't a single-key+file lookup, re-arrange the variables
4384       to be appropriate for the search_ functions. For query-style lookups,
4385       there is just a "key", and no file name. For the special query-style +
4386       file types, the query (i.e. "key") starts with a file name. */
4387
4388       if (!key)
4389         {
4390         while (isspace(*filename)) filename++;
4391         key = filename;
4392
4393         if (mac_islookup(stype, lookup_querystyle))
4394           filename = NULL;
4395         else
4396           {
4397           if (*filename != '/')
4398             {
4399             expand_string_message = string_sprintf(
4400               "absolute file name expected for \"%s\" lookup", name);
4401             goto EXPAND_FAILED;
4402             }
4403           while (*key != 0 && !isspace(*key)) key++;
4404           if (*key != 0) *key++ = 0;
4405           }
4406         }
4407
4408       /* If skipping, don't do the next bit - just lookup_value == NULL, as if
4409       the entry was not found. Note that there is no search_close() function.
4410       Files are left open in case of re-use. At suitable places in higher logic,
4411       search_tidyup() is called to tidy all open files. This can save opening
4412       the same file several times. However, files may also get closed when
4413       others are opened, if too many are open at once. The rule is that a
4414       handle should not be used after a second search_open().
4415
4416       Request that a partial search sets up $1 and maybe $2 by passing
4417       expand_setup containing zero. If its value changes, reset expand_nmax,
4418       since new variables will have been set. Note that at the end of this
4419       "lookup" section, the old numeric variables are restored. */
4420
4421       if (skipping)
4422         lookup_value = NULL;
4423       else
4424         {
4425         void *handle = search_open(filename, stype, 0, NULL, NULL);
4426         if (handle == NULL)
4427           {
4428           expand_string_message = search_error_message;
4429           goto EXPAND_FAILED;
4430           }
4431         lookup_value = search_find(handle, filename, key, partial, affix,
4432           affixlen, starflags, &expand_setup);
4433         if (search_find_defer)
4434           {
4435           expand_string_message =
4436             string_sprintf("lookup of \"%s\" gave DEFER: %s",
4437               string_printing2(key, FALSE), search_error_message);
4438           goto EXPAND_FAILED;
4439           }
4440         if (expand_setup > 0) expand_nmax = expand_setup;
4441         }
4442
4443       /* The handling of "yes" and "no" result strings is now in a separate
4444       function that is also used by ${if} and ${extract}. */
4445
4446       switch(process_yesno(
4447                skipping,                     /* were previously skipping */
4448                lookup_value != NULL,         /* success/failure indicator */
4449                save_lookup_value,            /* value to reset for string2 */
4450                &s,                           /* input pointer */
4451                &yield,                       /* output pointer */
4452                US"lookup",                   /* condition type */
4453                &resetok))
4454         {
4455         case 1: goto EXPAND_FAILED;          /* when all is well, the */
4456         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
4457         }
4458
4459       /* Restore external setting of expansion variables for carrying on
4460       at this level, and continue. */
4461
4462       restore_expand_strings(save_expand_nmax, save_expand_nstring,
4463         save_expand_nlength);
4464       continue;
4465       }
4466
4467     /* If Perl support is configured, handle calling embedded perl subroutines,
4468     unless locked out at this time. Syntax is ${perl{sub}} or ${perl{sub}{arg}}
4469     or ${perl{sub}{arg1}{arg2}} or up to a maximum of EXIM_PERL_MAX_ARGS
4470     arguments (defined below). */
4471
4472     #define EXIM_PERL_MAX_ARGS 8
4473
4474     case EITEM_PERL:
4475     #ifndef EXIM_PERL
4476     expand_string_message = US"\"${perl\" encountered, but this facility "      /*}*/
4477       "is not included in this binary";
4478     goto EXPAND_FAILED;
4479
4480     #else   /* EXIM_PERL */
4481       {
4482       uschar *sub_arg[EXIM_PERL_MAX_ARGS + 2];
4483       gstring *new_yield;
4484
4485       if ((expand_forbid & RDO_PERL) != 0)
4486         {
4487         expand_string_message = US"Perl calls are not permitted";
4488         goto EXPAND_FAILED;
4489         }
4490
4491       switch(read_subs(sub_arg, EXIM_PERL_MAX_ARGS + 1, 1, &s, skipping, TRUE,
4492            US"perl", &resetok))
4493         {
4494         case 1: goto EXPAND_FAILED_CURLY;
4495         case 2:
4496         case 3: goto EXPAND_FAILED;
4497         }
4498
4499       /* If skipping, we don't actually do anything */
4500
4501       if (skipping) continue;
4502
4503       /* Start the interpreter if necessary */
4504
4505       if (!opt_perl_started)
4506         {
4507         uschar *initerror;
4508         if (opt_perl_startup == NULL)
4509           {
4510           expand_string_message = US"A setting of perl_startup is needed when "
4511             "using the Perl interpreter";
4512           goto EXPAND_FAILED;
4513           }
4514         DEBUG(D_any) debug_printf("Starting Perl interpreter\n");
4515         initerror = init_perl(opt_perl_startup);
4516         if (initerror != NULL)
4517           {
4518           expand_string_message =
4519             string_sprintf("error in perl_startup code: %s\n", initerror);
4520           goto EXPAND_FAILED;
4521           }
4522         opt_perl_started = TRUE;
4523         }
4524
4525       /* Call the function */
4526
4527       sub_arg[EXIM_PERL_MAX_ARGS + 1] = NULL;
4528       new_yield = call_perl_cat(yield, &expand_string_message,
4529         sub_arg[0], sub_arg + 1);
4530
4531       /* NULL yield indicates failure; if the message pointer has been set to
4532       NULL, the yield was undef, indicating a forced failure. Otherwise the
4533       message will indicate some kind of Perl error. */
4534
4535       if (new_yield == NULL)
4536         {
4537         if (expand_string_message == NULL)
4538           {
4539           expand_string_message =
4540             string_sprintf("Perl subroutine \"%s\" returned undef to force "
4541               "failure", sub_arg[0]);
4542           expand_string_forcedfail = TRUE;
4543           }
4544         goto EXPAND_FAILED;
4545         }
4546
4547       /* Yield succeeded. Ensure forcedfail is unset, just in case it got
4548       set during a callback from Perl. */
4549
4550       expand_string_forcedfail = FALSE;
4551       yield = new_yield;
4552       continue;
4553       }
4554     #endif /* EXIM_PERL */
4555
4556     /* Transform email address to "prvs" scheme to use
4557        as BATV-signed return path */
4558
4559     case EITEM_PRVS:
4560       {
4561       uschar *sub_arg[3];
4562       uschar *p,*domain;
4563
4564       switch(read_subs(sub_arg, 3, 2, &s, skipping, TRUE, US"prvs", &resetok))
4565         {
4566         case 1: goto EXPAND_FAILED_CURLY;
4567         case 2:
4568         case 3: goto EXPAND_FAILED;
4569         }
4570
4571       /* If skipping, we don't actually do anything */
4572       if (skipping) continue;
4573
4574       /* sub_arg[0] is the address */
4575       if (  !(domain = Ustrrchr(sub_arg[0],'@'))
4576          || domain == sub_arg[0] || Ustrlen(domain) == 1)
4577         {
4578         expand_string_message = US"prvs first argument must be a qualified email address";
4579         goto EXPAND_FAILED;
4580         }
4581
4582       /* Calculate the hash. The third argument must be a single-digit
4583       key number, or unset. */
4584
4585       if (  sub_arg[2]
4586          && (!isdigit(sub_arg[2][0]) || sub_arg[2][1] != 0))
4587         {
4588         expand_string_message = US"prvs third argument must be a single digit";
4589         goto EXPAND_FAILED;
4590         }
4591
4592       p = prvs_hmac_sha1(sub_arg[0], sub_arg[1], sub_arg[2], prvs_daystamp(7));
4593       if (!p)
4594         {
4595         expand_string_message = US"prvs hmac-sha1 conversion failed";
4596         goto EXPAND_FAILED;
4597         }
4598
4599       /* Now separate the domain from the local part */
4600       *domain++ = '\0';
4601
4602       yield = string_catn(yield, US"prvs=", 5);
4603       yield = string_catn(yield, sub_arg[2] ? sub_arg[2] : US"0", 1);
4604       yield = string_catn(yield, prvs_daystamp(7), 3);
4605       yield = string_catn(yield, p, 6);
4606       yield = string_catn(yield, US"=", 1);
4607       yield = string_cat (yield, sub_arg[0]);
4608       yield = string_catn(yield, US"@", 1);
4609       yield = string_cat (yield, domain);
4610
4611       continue;
4612       }
4613
4614     /* Check a prvs-encoded address for validity */
4615
4616     case EITEM_PRVSCHECK:
4617       {
4618       uschar *sub_arg[3];
4619       gstring * g;
4620       const pcre *re;
4621       uschar *p;
4622
4623       /* TF: Ugliness: We want to expand parameter 1 first, then set
4624          up expansion variables that are used in the expansion of
4625          parameter 2. So we clone the string for the first
4626          expansion, where we only expand parameter 1.
4627
4628          PH: Actually, that isn't necessary. The read_subs() function is
4629          designed to work this way for the ${if and ${lookup expansions. I've
4630          tidied the code.
4631       */
4632
4633       /* Reset expansion variables */
4634       prvscheck_result = NULL;
4635       prvscheck_address = NULL;
4636       prvscheck_keynum = NULL;
4637
4638       switch(read_subs(sub_arg, 1, 1, &s, skipping, FALSE, US"prvs", &resetok))
4639         {
4640         case 1: goto EXPAND_FAILED_CURLY;
4641         case 2:
4642         case 3: goto EXPAND_FAILED;
4643         }
4644
4645       re = regex_must_compile(US"^prvs\\=([0-9])([0-9]{3})([A-F0-9]{6})\\=(.+)\\@(.+)$",
4646                               TRUE,FALSE);
4647
4648       if (regex_match_and_setup(re,sub_arg[0],0,-1))
4649         {
4650         uschar *local_part = string_copyn(expand_nstring[4],expand_nlength[4]);
4651         uschar *key_num = string_copyn(expand_nstring[1],expand_nlength[1]);
4652         uschar *daystamp = string_copyn(expand_nstring[2],expand_nlength[2]);
4653         uschar *hash = string_copyn(expand_nstring[3],expand_nlength[3]);
4654         uschar *domain = string_copyn(expand_nstring[5],expand_nlength[5]);
4655
4656         DEBUG(D_expand) debug_printf_indent("prvscheck localpart: %s\n", local_part);
4657         DEBUG(D_expand) debug_printf_indent("prvscheck key number: %s\n", key_num);
4658         DEBUG(D_expand) debug_printf_indent("prvscheck daystamp: %s\n", daystamp);
4659         DEBUG(D_expand) debug_printf_indent("prvscheck hash: %s\n", hash);
4660         DEBUG(D_expand) debug_printf_indent("prvscheck domain: %s\n", domain);
4661
4662         /* Set up expansion variables */
4663         g = string_cat (NULL, local_part);
4664         g = string_catn(g, US"@", 1);
4665         g = string_cat (g, domain);
4666         prvscheck_address = string_from_gstring(g);
4667         prvscheck_keynum = string_copy(key_num);
4668
4669         /* Now expand the second argument */
4670         switch(read_subs(sub_arg, 1, 1, &s, skipping, FALSE, US"prvs", &resetok))
4671           {
4672           case 1: goto EXPAND_FAILED_CURLY;
4673           case 2:
4674           case 3: goto EXPAND_FAILED;
4675           }
4676
4677         /* Now we have the key and can check the address. */
4678
4679         p = prvs_hmac_sha1(prvscheck_address, sub_arg[0], prvscheck_keynum,
4680           daystamp);
4681
4682         if (!p)
4683           {
4684           expand_string_message = US"hmac-sha1 conversion failed";
4685           goto EXPAND_FAILED;
4686           }
4687
4688         DEBUG(D_expand) debug_printf_indent("prvscheck: received hash is %s\n", hash);
4689         DEBUG(D_expand) debug_printf_indent("prvscheck:      own hash is %s\n", p);
4690
4691         if (Ustrcmp(p,hash) == 0)
4692           {
4693           /* Success, valid BATV address. Now check the expiry date. */
4694           uschar *now = prvs_daystamp(0);
4695           unsigned int inow = 0,iexpire = 1;
4696
4697           (void)sscanf(CS now,"%u",&inow);
4698           (void)sscanf(CS daystamp,"%u",&iexpire);
4699
4700           /* When "iexpire" is < 7, a "flip" has occured.
4701              Adjust "inow" accordingly. */
4702           if ( (iexpire < 7) && (inow >= 993) ) inow = 0;
4703
4704           if (iexpire >= inow)
4705             {
4706             prvscheck_result = US"1";
4707             DEBUG(D_expand) debug_printf_indent("prvscheck: success, $pvrs_result set to 1\n");
4708             }
4709           else
4710             {
4711             prvscheck_result = NULL;
4712             DEBUG(D_expand) debug_printf_indent("prvscheck: signature expired, $pvrs_result unset\n");
4713             }
4714           }
4715         else
4716           {
4717           prvscheck_result = NULL;
4718           DEBUG(D_expand) debug_printf_indent("prvscheck: hash failure, $pvrs_result unset\n");
4719           }
4720
4721         /* Now expand the final argument. We leave this till now so that
4722         it can include $prvscheck_result. */
4723
4724         switch(read_subs(sub_arg, 1, 0, &s, skipping, TRUE, US"prvs", &resetok))
4725           {
4726           case 1: goto EXPAND_FAILED_CURLY;
4727           case 2:
4728           case 3: goto EXPAND_FAILED;
4729           }
4730
4731         yield = string_cat(yield,
4732           !sub_arg[0] || !*sub_arg[0] ? prvscheck_address : sub_arg[0]);
4733
4734         /* Reset the "internal" variables afterwards, because they are in
4735         dynamic store that will be reclaimed if the expansion succeeded. */
4736
4737         prvscheck_address = NULL;
4738         prvscheck_keynum = NULL;
4739         }
4740       else
4741         /* Does not look like a prvs encoded address, return the empty string.
4742            We need to make sure all subs are expanded first, so as to skip over
4743            the entire item. */
4744
4745         switch(read_subs(sub_arg, 2, 1, &s, skipping, TRUE, US"prvs", &resetok))
4746           {
4747           case 1: goto EXPAND_FAILED_CURLY;
4748           case 2:
4749           case 3: goto EXPAND_FAILED;
4750           }
4751
4752       continue;
4753       }
4754
4755     /* Handle "readfile" to insert an entire file */
4756
4757     case EITEM_READFILE:
4758       {
4759       FILE *f;
4760       uschar *sub_arg[2];
4761
4762       if ((expand_forbid & RDO_READFILE) != 0)
4763         {
4764         expand_string_message = US"file insertions are not permitted";
4765         goto EXPAND_FAILED;
4766         }
4767
4768       switch(read_subs(sub_arg, 2, 1, &s, skipping, TRUE, US"readfile", &resetok))
4769         {
4770         case 1: goto EXPAND_FAILED_CURLY;
4771         case 2:
4772         case 3: goto EXPAND_FAILED;
4773         }
4774
4775       /* If skipping, we don't actually do anything */
4776
4777       if (skipping) continue;
4778
4779       /* Open the file and read it */
4780
4781       if (!(f = Ufopen(sub_arg[0], "rb")))
4782         {
4783         expand_string_message = string_open_failed(errno, "%s", sub_arg[0]);
4784         goto EXPAND_FAILED;
4785         }
4786
4787       yield = cat_file(f, yield, sub_arg[1]);
4788       (void)fclose(f);
4789       continue;
4790       }
4791
4792     /* Handle "readsocket" to insert data from a socket, either
4793     Inet or Unix domain */
4794
4795     case EITEM_READSOCK:
4796       {
4797       int fd;
4798       int timeout = 5;
4799       int save_ptr = yield->ptr;
4800       FILE *f;
4801       uschar *arg;
4802       uschar *sub_arg[4];
4803       BOOL do_shutdown = TRUE;
4804       blob reqstr;
4805
4806       if (expand_forbid & RDO_READSOCK)
4807         {
4808         expand_string_message = US"socket insertions are not permitted";
4809         goto EXPAND_FAILED;
4810         }
4811
4812       /* Read up to 4 arguments, but don't do the end of item check afterwards,
4813       because there may be a string for expansion on failure. */
4814
4815       switch(read_subs(sub_arg, 4, 2, &s, skipping, FALSE, US"readsocket", &resetok))
4816         {
4817         case 1: goto EXPAND_FAILED_CURLY;
4818         case 2:                             /* Won't occur: no end check */
4819         case 3: goto EXPAND_FAILED;
4820         }
4821
4822       /* Grab the request string, if any */
4823
4824       reqstr.data = sub_arg[1];
4825       reqstr.len = Ustrlen(sub_arg[1]);
4826
4827       /* Sort out timeout, if given.  The second arg is a list with the first element
4828       being a time value.  Any more are options of form "name=value".  Currently the
4829       only option recognised is "shutdown". */
4830
4831       if (sub_arg[2])
4832         {
4833         const uschar * list = sub_arg[2];
4834         uschar * item;
4835         int sep = 0;
4836
4837         item = string_nextinlist(&list, &sep, NULL, 0);
4838         if ((timeout = readconf_readtime(item, 0, FALSE)) < 0)
4839           {
4840           expand_string_message = string_sprintf("bad time value %s", item);
4841           goto EXPAND_FAILED;
4842           }
4843
4844         while ((item = string_nextinlist(&list, &sep, NULL, 0)))
4845           if (Ustrncmp(item, US"shutdown=", 9) == 0)
4846             if (Ustrcmp(item + 9, US"no") == 0)
4847               do_shutdown = FALSE;
4848         }
4849       else sub_arg[3] = NULL;                     /* No eol if no timeout */
4850
4851       /* If skipping, we don't actually do anything. Otherwise, arrange to
4852       connect to either an IP or a Unix socket. */
4853
4854       if (!skipping)
4855         {
4856         /* Handle an IP (internet) domain */
4857
4858         if (Ustrncmp(sub_arg[0], "inet:", 5) == 0)
4859           {
4860           int port;
4861           uschar * server_name = sub_arg[0] + 5;
4862           uschar * port_name = Ustrrchr(server_name, ':');
4863
4864           /* Sort out the port */
4865
4866           if (!port_name)
4867             {
4868             expand_string_message =
4869               string_sprintf("missing port for readsocket %s", sub_arg[0]);
4870             goto EXPAND_FAILED;
4871             }
4872           *port_name++ = 0;           /* Terminate server name */
4873
4874           if (isdigit(*port_name))
4875             {
4876             uschar *end;
4877             port = Ustrtol(port_name, &end, 0);
4878             if (end != port_name + Ustrlen(port_name))
4879               {
4880               expand_string_message =
4881                 string_sprintf("invalid port number %s", port_name);
4882               goto EXPAND_FAILED;
4883               }
4884             }
4885           else
4886             {
4887             struct servent *service_info = getservbyname(CS port_name, "tcp");
4888             if (!service_info)
4889               {
4890               expand_string_message = string_sprintf("unknown port \"%s\"",
4891                 port_name);
4892               goto EXPAND_FAILED;
4893               }
4894             port = ntohs(service_info->s_port);
4895             }
4896
4897           fd = ip_connectedsocket(SOCK_STREAM, server_name, port, port,
4898                   timeout, NULL, &expand_string_message, &reqstr);
4899           callout_address = NULL;
4900           if (fd < 0)
4901               goto SOCK_FAIL;
4902           reqstr.len = 0;
4903           }
4904
4905         /* Handle a Unix domain socket */
4906
4907         else
4908           {
4909           struct sockaddr_un sockun;         /* don't call this "sun" ! */
4910           int rc;
4911
4912           if ((fd = socket(PF_UNIX, SOCK_STREAM, 0)) == -1)
4913             {
4914             expand_string_message = string_sprintf("failed to create socket: %s",
4915               strerror(errno));
4916             goto SOCK_FAIL;
4917             }
4918
4919           sockun.sun_family = AF_UNIX;
4920           sprintf(sockun.sun_path, "%.*s", (int)(sizeof(sockun.sun_path)-1),
4921             sub_arg[0]);
4922
4923           sigalrm_seen = FALSE;
4924           alarm(timeout);
4925           rc = connect(fd, (struct sockaddr *)(&sockun), sizeof(sockun));
4926           alarm(0);
4927           if (sigalrm_seen)
4928             {
4929             expand_string_message = US "socket connect timed out";
4930             goto SOCK_FAIL;
4931             }
4932           if (rc < 0)
4933             {
4934             expand_string_message = string_sprintf("failed to connect to socket "
4935               "%s: %s", sub_arg[0], strerror(errno));
4936             goto SOCK_FAIL;
4937             }
4938           }
4939
4940         DEBUG(D_expand) debug_printf_indent("connected to socket %s\n", sub_arg[0]);
4941
4942         /* Allow sequencing of test actions */
4943         if (running_in_test_harness) millisleep(100);
4944
4945         /* Write the request string, if not empty or already done */
4946
4947         if (reqstr.len)
4948           {
4949           DEBUG(D_expand) debug_printf_indent("writing \"%s\" to socket\n",
4950             reqstr.data);
4951           if (write(fd, reqstr.data, reqstr.len) != reqstr.len)
4952             {
4953             expand_string_message = string_sprintf("request write to socket "
4954               "failed: %s", strerror(errno));
4955             goto SOCK_FAIL;
4956             }
4957           }
4958
4959         /* Shut down the sending side of the socket. This helps some servers to
4960         recognise that it is their turn to do some work. Just in case some
4961         system doesn't have this function, make it conditional. */
4962
4963 #ifdef SHUT_WR
4964         if (do_shutdown) shutdown(fd, SHUT_WR);
4965 #endif
4966
4967         if (running_in_test_harness) millisleep(100);
4968
4969         /* Now we need to read from the socket, under a timeout. The function
4970         that reads a file can be used. */
4971
4972         f = fdopen(fd, "rb");
4973         sigalrm_seen = FALSE;
4974         alarm(timeout);
4975         yield = cat_file(f, yield, sub_arg[3]);
4976         alarm(0);
4977         (void)fclose(f);
4978
4979         /* After a timeout, we restore the pointer in the result, that is,
4980         make sure we add nothing from the socket. */
4981
4982         if (sigalrm_seen)
4983           {
4984           yield->ptr = save_ptr;
4985           expand_string_message = US "socket read timed out";
4986           goto SOCK_FAIL;
4987           }
4988         }
4989
4990       /* The whole thing has worked (or we were skipping). If there is a
4991       failure string following, we need to skip it. */
4992
4993       if (*s == '{')
4994         {
4995         if (expand_string_internal(s+1, TRUE, &s, TRUE, TRUE, &resetok) == NULL)
4996           goto EXPAND_FAILED;
4997         if (*s++ != '}')
4998           {
4999           expand_string_message = US"missing '}' closing failstring for readsocket";
5000           goto EXPAND_FAILED_CURLY;
5001           }
5002         while (isspace(*s)) s++;
5003         }
5004
5005     READSOCK_DONE:
5006       if (*s++ != '}')
5007         {
5008         expand_string_message = US"missing '}' closing readsocket";
5009         goto EXPAND_FAILED_CURLY;
5010         }
5011       continue;
5012
5013       /* Come here on failure to create socket, connect socket, write to the
5014       socket, or timeout on reading. If another substring follows, expand and
5015       use it. Otherwise, those conditions give expand errors. */
5016
5017     SOCK_FAIL:
5018       if (*s != '{') goto EXPAND_FAILED;
5019       DEBUG(D_any) debug_printf("%s\n", expand_string_message);
5020       if (!(arg = expand_string_internal(s+1, TRUE, &s, FALSE, TRUE, &resetok)))
5021         goto EXPAND_FAILED;
5022       yield = string_cat(yield, arg);
5023       if (*s++ != '}')
5024         {
5025         expand_string_message = US"missing '}' closing failstring for readsocket";
5026         goto EXPAND_FAILED_CURLY;
5027         }
5028       while (isspace(*s)) s++;
5029       goto READSOCK_DONE;
5030       }
5031
5032     /* Handle "run" to execute a program. */
5033
5034     case EITEM_RUN:
5035       {
5036       FILE *f;
5037       uschar *arg;
5038       const uschar **argv;
5039       pid_t pid;
5040       int fd_in, fd_out;
5041
5042       if ((expand_forbid & RDO_RUN) != 0)
5043         {
5044         expand_string_message = US"running a command is not permitted";
5045         goto EXPAND_FAILED;
5046         }
5047
5048       while (isspace(*s)) s++;
5049       if (*s != '{')
5050         {
5051         expand_string_message = US"missing '{' for command arg of run";
5052         goto EXPAND_FAILED_CURLY;
5053         }
5054       arg = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
5055       if (arg == NULL) goto EXPAND_FAILED;
5056       while (isspace(*s)) s++;
5057       if (*s++ != '}')
5058         {
5059         expand_string_message = US"missing '}' closing command arg of run";
5060         goto EXPAND_FAILED_CURLY;
5061         }
5062
5063       if (skipping)   /* Just pretend it worked when we're skipping */
5064         {
5065         runrc = 0;
5066         lookup_value = NULL;
5067         }
5068       else
5069         {
5070         if (!transport_set_up_command(&argv,    /* anchor for arg list */
5071             arg,                                /* raw command */
5072             FALSE,                              /* don't expand the arguments */
5073             0,                                  /* not relevant when... */
5074             NULL,                               /* no transporting address */
5075             US"${run} expansion",               /* for error messages */
5076             &expand_string_message))            /* where to put error message */
5077           goto EXPAND_FAILED;
5078
5079         /* Create the child process, making it a group leader. */
5080
5081         if ((pid = child_open(USS argv, NULL, 0077, &fd_in, &fd_out, TRUE)) < 0)
5082           {
5083           expand_string_message =
5084             string_sprintf("couldn't create child process: %s", strerror(errno));
5085           goto EXPAND_FAILED;
5086           }
5087
5088         /* Nothing is written to the standard input. */
5089
5090         (void)close(fd_in);
5091
5092         /* Read the pipe to get the command's output into $value (which is kept
5093         in lookup_value). Read during execution, so that if the output exceeds
5094         the OS pipe buffer limit, we don't block forever. Remember to not release
5095         memory just allocated for $value. */
5096
5097         resetok = FALSE;
5098         f = fdopen(fd_out, "rb");
5099         sigalrm_seen = FALSE;
5100         alarm(60);
5101         lookup_value = string_from_gstring(cat_file(f, NULL, NULL));
5102         alarm(0);
5103         (void)fclose(f);
5104
5105         /* Wait for the process to finish, applying the timeout, and inspect its
5106         return code for serious disasters. Simple non-zero returns are passed on.
5107         */
5108
5109         if (sigalrm_seen || (runrc = child_close(pid, 30)) < 0)
5110           {
5111           if (sigalrm_seen || runrc == -256)
5112             {
5113             expand_string_message = string_sprintf("command timed out");
5114             killpg(pid, SIGKILL);       /* Kill the whole process group */
5115             }
5116
5117           else if (runrc == -257)
5118             expand_string_message = string_sprintf("wait() failed: %s",
5119               strerror(errno));
5120
5121           else
5122             expand_string_message = string_sprintf("command killed by signal %d",
5123               -runrc);
5124
5125           goto EXPAND_FAILED;
5126           }
5127         }
5128
5129       /* Process the yes/no strings; $value may be useful in both cases */
5130
5131       switch(process_yesno(
5132                skipping,                     /* were previously skipping */
5133                runrc == 0,                   /* success/failure indicator */
5134                lookup_value,                 /* value to reset for string2 */
5135                &s,                           /* input pointer */
5136                &yield,                       /* output pointer */
5137                US"run",                      /* condition type */
5138                &resetok))
5139         {
5140         case 1: goto EXPAND_FAILED;          /* when all is well, the */
5141         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
5142         }
5143
5144       continue;
5145       }
5146
5147     /* Handle character translation for "tr" */
5148
5149     case EITEM_TR:
5150       {
5151       int oldptr = yield->ptr;
5152       int o2m;
5153       uschar *sub[3];
5154
5155       switch(read_subs(sub, 3, 3, &s, skipping, TRUE, US"tr", &resetok))
5156         {
5157         case 1: goto EXPAND_FAILED_CURLY;
5158         case 2:
5159         case 3: goto EXPAND_FAILED;
5160         }
5161
5162       yield = string_cat(yield, sub[0]);
5163       o2m = Ustrlen(sub[2]) - 1;
5164
5165       if (o2m >= 0) for (; oldptr < yield->ptr; oldptr++)
5166         {
5167         uschar *m = Ustrrchr(sub[1], yield->s[oldptr]);
5168         if (m != NULL)
5169           {
5170           int o = m - sub[1];
5171           yield->s[oldptr] = sub[2][(o < o2m)? o : o2m];
5172           }
5173         }
5174
5175       continue;
5176       }
5177
5178     /* Handle "hash", "length", "nhash", and "substr" when they are given with
5179     expanded arguments. */
5180
5181     case EITEM_HASH:
5182     case EITEM_LENGTH:
5183     case EITEM_NHASH:
5184     case EITEM_SUBSTR:
5185       {
5186       int i;
5187       int len;
5188       uschar *ret;
5189       int val[2] = { 0, -1 };
5190       uschar *sub[3];
5191
5192       /* "length" takes only 2 arguments whereas the others take 2 or 3.
5193       Ensure that sub[2] is set in the ${length } case. */
5194
5195       sub[2] = NULL;
5196       switch(read_subs(sub, (item_type == EITEM_LENGTH)? 2:3, 2, &s, skipping,
5197              TRUE, name, &resetok))
5198         {
5199         case 1: goto EXPAND_FAILED_CURLY;
5200         case 2:
5201         case 3: goto EXPAND_FAILED;
5202         }
5203
5204       /* Juggle the arguments if there are only two of them: always move the
5205       string to the last position and make ${length{n}{str}} equivalent to
5206       ${substr{0}{n}{str}}. See the defaults for val[] above. */
5207
5208       if (sub[2] == NULL)
5209         {
5210         sub[2] = sub[1];
5211         sub[1] = NULL;
5212         if (item_type == EITEM_LENGTH)
5213           {
5214           sub[1] = sub[0];
5215           sub[0] = NULL;
5216           }
5217         }
5218
5219       for (i = 0; i < 2; i++)
5220         {
5221         if (sub[i] == NULL) continue;
5222         val[i] = (int)Ustrtol(sub[i], &ret, 10);
5223         if (*ret != 0 || (i != 0 && val[i] < 0))
5224           {
5225           expand_string_message = string_sprintf("\"%s\" is not a%s number "
5226             "(in \"%s\" expansion)", sub[i], (i != 0)? " positive" : "", name);
5227           goto EXPAND_FAILED;
5228           }
5229         }
5230
5231       ret =
5232         (item_type == EITEM_HASH)?
5233           compute_hash(sub[2], val[0], val[1], &len) :
5234         (item_type == EITEM_NHASH)?
5235           compute_nhash(sub[2], val[0], val[1], &len) :
5236           extract_substr(sub[2], val[0], val[1], &len);
5237
5238       if (ret == NULL) goto EXPAND_FAILED;
5239       yield = string_catn(yield, ret, len);
5240       continue;
5241       }
5242
5243     /* Handle HMAC computation: ${hmac{<algorithm>}{<secret>}{<text>}}
5244     This code originally contributed by Steve Haslam. It currently supports
5245     the use of MD5 and SHA-1 hashes.
5246
5247     We need some workspace that is large enough to handle all the supported
5248     hash types. Use macros to set the sizes rather than be too elaborate. */
5249
5250     #define MAX_HASHLEN      20
5251     #define MAX_HASHBLOCKLEN 64
5252
5253     case EITEM_HMAC:
5254       {
5255       uschar *sub[3];
5256       md5 md5_base;
5257       hctx sha1_ctx;
5258       void *use_base;
5259       int type, i;
5260       int hashlen;      /* Number of octets for the hash algorithm's output */
5261       int hashblocklen; /* Number of octets the hash algorithm processes */
5262       uschar *keyptr, *p;
5263       unsigned int keylen;
5264
5265       uschar keyhash[MAX_HASHLEN];
5266       uschar innerhash[MAX_HASHLEN];
5267       uschar finalhash[MAX_HASHLEN];
5268       uschar finalhash_hex[2*MAX_HASHLEN];
5269       uschar innerkey[MAX_HASHBLOCKLEN];
5270       uschar outerkey[MAX_HASHBLOCKLEN];
5271
5272       switch (read_subs(sub, 3, 3, &s, skipping, TRUE, name, &resetok))
5273         {
5274         case 1: goto EXPAND_FAILED_CURLY;
5275         case 2:
5276         case 3: goto EXPAND_FAILED;
5277         }
5278
5279       if (!skipping)
5280         {
5281         if (Ustrcmp(sub[0], "md5") == 0)
5282           {
5283           type = HMAC_MD5;
5284           use_base = &md5_base;
5285           hashlen = 16;
5286           hashblocklen = 64;
5287           }
5288         else if (Ustrcmp(sub[0], "sha1") == 0)
5289           {
5290           type = HMAC_SHA1;
5291           use_base = &sha1_ctx;
5292           hashlen = 20;
5293           hashblocklen = 64;
5294           }
5295         else
5296           {
5297           expand_string_message =
5298             string_sprintf("hmac algorithm \"%s\" is not recognised", sub[0]);
5299           goto EXPAND_FAILED;
5300           }
5301
5302         keyptr = sub[1];
5303         keylen = Ustrlen(keyptr);
5304
5305         /* If the key is longer than the hash block length, then hash the key
5306         first */
5307
5308         if (keylen > hashblocklen)
5309           {
5310           chash_start(type, use_base);
5311           chash_end(type, use_base, keyptr, keylen, keyhash);
5312           keyptr = keyhash;
5313           keylen = hashlen;
5314           }
5315
5316         /* Now make the inner and outer key values */
5317
5318         memset(innerkey, 0x36, hashblocklen);
5319         memset(outerkey, 0x5c, hashblocklen);
5320
5321         for (i = 0; i < keylen; i++)
5322           {
5323           innerkey[i] ^= keyptr[i];
5324           outerkey[i] ^= keyptr[i];
5325           }
5326
5327         /* Now do the hashes */
5328
5329         chash_start(type, use_base);
5330         chash_mid(type, use_base, innerkey);
5331         chash_end(type, use_base, sub[2], Ustrlen(sub[2]), innerhash);
5332
5333         chash_start(type, use_base);
5334         chash_mid(type, use_base, outerkey);
5335         chash_end(type, use_base, innerhash, hashlen, finalhash);
5336
5337         /* Encode the final hash as a hex string */
5338
5339         p = finalhash_hex;
5340         for (i = 0; i < hashlen; i++)
5341           {
5342           *p++ = hex_digits[(finalhash[i] & 0xf0) >> 4];
5343           *p++ = hex_digits[finalhash[i] & 0x0f];
5344           }
5345
5346         DEBUG(D_any) debug_printf("HMAC[%s](%.*s,%s)=%.*s\n",
5347           sub[0], (int)keylen, keyptr, sub[2], hashlen*2, finalhash_hex);
5348
5349         yield = string_catn(yield, finalhash_hex, hashlen*2);
5350         }
5351       continue;
5352       }
5353
5354     /* Handle global substitution for "sg" - like Perl's s/xxx/yyy/g operator.
5355     We have to save the numerical variables and restore them afterwards. */
5356
5357     case EITEM_SG:
5358       {
5359       const pcre *re;
5360       int moffset, moffsetextra, slen;
5361       int roffset;
5362       int emptyopt;
5363       const uschar *rerror;
5364       uschar *subject;
5365       uschar *sub[3];
5366       int save_expand_nmax =
5367         save_expand_strings(save_expand_nstring, save_expand_nlength);
5368
5369       switch(read_subs(sub, 3, 3, &s, skipping, TRUE, US"sg", &resetok))
5370         {
5371         case 1: goto EXPAND_FAILED_CURLY;
5372         case 2:
5373         case 3: goto EXPAND_FAILED;
5374         }
5375
5376       /* Compile the regular expression */
5377
5378       re = pcre_compile(CS sub[1], PCRE_COPT, (const char **)&rerror, &roffset,
5379         NULL);
5380
5381       if (re == NULL)
5382         {
5383         expand_string_message = string_sprintf("regular expression error in "
5384           "\"%s\": %s at offset %d", sub[1], rerror, roffset);
5385         goto EXPAND_FAILED;
5386         }
5387
5388       /* Now run a loop to do the substitutions as often as necessary. It ends
5389       when there are no more matches. Take care over matches of the null string;
5390       do the same thing as Perl does. */
5391
5392       subject = sub[0];
5393       slen = Ustrlen(sub[0]);
5394       moffset = moffsetextra = 0;
5395       emptyopt = 0;
5396
5397       for (;;)
5398         {
5399         int ovector[3*(EXPAND_MAXN+1)];
5400         int n = pcre_exec(re, NULL, CS subject, slen, moffset + moffsetextra,
5401           PCRE_EOPT | emptyopt, ovector, nelem(ovector));
5402         int nn;
5403         uschar *insert;
5404
5405         /* No match - if we previously set PCRE_NOTEMPTY after a null match, this
5406         is not necessarily the end. We want to repeat the match from one
5407         character further along, but leaving the basic offset the same (for
5408         copying below). We can't be at the end of the string - that was checked
5409         before setting PCRE_NOTEMPTY. If PCRE_NOTEMPTY is not set, we are
5410         finished; copy the remaining string and end the loop. */
5411
5412         if (n < 0)
5413           {
5414           if (emptyopt != 0)
5415             {
5416             moffsetextra = 1;
5417             emptyopt = 0;
5418             continue;
5419             }
5420           yield = string_catn(yield, subject+moffset, slen-moffset);
5421           break;
5422           }
5423
5424         /* Match - set up for expanding the replacement. */
5425
5426         if (n == 0) n = EXPAND_MAXN + 1;
5427         expand_nmax = 0;
5428         for (nn = 0; nn < n*2; nn += 2)
5429           {
5430           expand_nstring[expand_nmax] = subject + ovector[nn];
5431           expand_nlength[expand_nmax++] = ovector[nn+1] - ovector[nn];
5432           }
5433         expand_nmax--;
5434
5435         /* Copy the characters before the match, plus the expanded insertion. */
5436
5437         yield = string_catn(yield, subject + moffset, ovector[0] - moffset);
5438         insert = expand_string(sub[2]);
5439         if (insert == NULL) goto EXPAND_FAILED;
5440         yield = string_cat(yield, insert);
5441
5442         moffset = ovector[1];
5443         moffsetextra = 0;
5444         emptyopt = 0;
5445
5446         /* If we have matched an empty string, first check to see if we are at
5447         the end of the subject. If so, the loop is over. Otherwise, mimic
5448         what Perl's /g options does. This turns out to be rather cunning. First
5449         we set PCRE_NOTEMPTY and PCRE_ANCHORED and try the match a non-empty
5450         string at the same point. If this fails (picked up above) we advance to
5451         the next character. */
5452
5453         if (ovector[0] == ovector[1])
5454           {
5455           if (ovector[0] == slen) break;
5456           emptyopt = PCRE_NOTEMPTY | PCRE_ANCHORED;
5457           }
5458         }
5459
5460       /* All done - restore numerical variables. */
5461
5462       restore_expand_strings(save_expand_nmax, save_expand_nstring,
5463         save_expand_nlength);
5464       continue;
5465       }
5466
5467     /* Handle keyed and numbered substring extraction. If the first argument
5468     consists entirely of digits, then a numerical extraction is assumed. */
5469
5470     case EITEM_EXTRACT:
5471       {
5472       int i;
5473       int j;
5474       int field_number = 1;
5475       BOOL field_number_set = FALSE;
5476       uschar *save_lookup_value = lookup_value;
5477       uschar *sub[3];
5478       int save_expand_nmax =
5479         save_expand_strings(save_expand_nstring, save_expand_nlength);
5480
5481       /* While skipping we cannot rely on the data for expansions being
5482       available (eg. $item) hence cannot decide on numeric vs. keyed.
5483       Read a maximum of 5 arguments (including the yes/no) */
5484
5485       if (skipping)
5486         {
5487         while (isspace(*s)) s++;
5488         for (j = 5; j > 0 && *s == '{'; j--)
5489           {
5490           if (!expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok))
5491             goto EXPAND_FAILED;                                 /*{*/
5492           if (*s++ != '}')
5493             {
5494             expand_string_message = US"missing '{' for arg of extract";
5495             goto EXPAND_FAILED_CURLY;
5496             }
5497           while (isspace(*s)) s++;
5498           }
5499         if (  Ustrncmp(s, "fail", 4) == 0
5500            && (s[4] == '}' || s[4] == ' ' || s[4] == '\t' || !s[4])
5501            )
5502           {
5503           s += 4;
5504           while (isspace(*s)) s++;
5505           }
5506         if (*s != '}')
5507           {
5508           expand_string_message = US"missing '}' closing extract";
5509           goto EXPAND_FAILED_CURLY;
5510           }
5511         }
5512
5513       else for (i = 0, j = 2; i < j; i++) /* Read the proper number of arguments */
5514         {
5515         while (isspace(*s)) s++;
5516         if (*s == '{')                                          /*}*/
5517           {
5518           sub[i] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
5519           if (sub[i] == NULL) goto EXPAND_FAILED;               /*{*/
5520           if (*s++ != '}')
5521             {
5522             expand_string_message = string_sprintf(
5523               "missing '}' closing arg %d of extract", i+1);
5524             goto EXPAND_FAILED_CURLY;
5525             }
5526
5527           /* After removal of leading and trailing white space, the first
5528           argument must not be empty; if it consists entirely of digits
5529           (optionally preceded by a minus sign), this is a numerical
5530           extraction, and we expect 3 arguments. */
5531
5532           if (i == 0)
5533             {
5534             int len;
5535             int x = 0;
5536             uschar *p = sub[0];
5537
5538             while (isspace(*p)) p++;
5539             sub[0] = p;
5540
5541             len = Ustrlen(p);
5542             while (len > 0 && isspace(p[len-1])) len--;
5543             p[len] = 0;
5544
5545             if (*p == 0)
5546               {
5547               expand_string_message = US"first argument of \"extract\" must "
5548                 "not be empty";
5549               goto EXPAND_FAILED;
5550               }
5551
5552             if (*p == '-')
5553               {
5554               field_number = -1;
5555               p++;
5556               }
5557             while (*p != 0 && isdigit(*p)) x = x * 10 + *p++ - '0';
5558             if (*p == 0)
5559               {
5560               field_number *= x;
5561               j = 3;               /* Need 3 args */
5562               field_number_set = TRUE;
5563               }
5564             }
5565           }
5566         else
5567           {
5568           expand_string_message = string_sprintf(
5569             "missing '{' for arg %d of extract", i+1);
5570           goto EXPAND_FAILED_CURLY;
5571           }
5572         }
5573
5574       /* Extract either the numbered or the keyed substring into $value. If
5575       skipping, just pretend the extraction failed. */
5576
5577       lookup_value = skipping? NULL : field_number_set?
5578         expand_gettokened(field_number, sub[1], sub[2]) :
5579         expand_getkeyed(sub[0], sub[1]);
5580
5581       /* If no string follows, $value gets substituted; otherwise there can
5582       be yes/no strings, as for lookup or if. */
5583
5584       switch(process_yesno(
5585                skipping,                     /* were previously skipping */
5586                lookup_value != NULL,         /* success/failure indicator */
5587                save_lookup_value,            /* value to reset for string2 */
5588                &s,                           /* input pointer */
5589                &yield,                       /* output pointer */
5590                US"extract",                  /* condition type */
5591                &resetok))
5592         {
5593         case 1: goto EXPAND_FAILED;          /* when all is well, the */
5594         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
5595         }
5596
5597       /* All done - restore numerical variables. */
5598
5599       restore_expand_strings(save_expand_nmax, save_expand_nstring,
5600         save_expand_nlength);
5601
5602       continue;
5603       }
5604
5605     /* return the Nth item from a list */
5606
5607     case EITEM_LISTEXTRACT:
5608       {
5609       int i;
5610       int field_number = 1;
5611       uschar *save_lookup_value = lookup_value;
5612       uschar *sub[2];
5613       int save_expand_nmax =
5614         save_expand_strings(save_expand_nstring, save_expand_nlength);
5615
5616       /* Read the field & list arguments */
5617
5618       for (i = 0; i < 2; i++)
5619         {
5620         while (isspace(*s)) s++;
5621         if (*s != '{')                                  /*}*/
5622           {
5623           expand_string_message = string_sprintf(
5624             "missing '{' for arg %d of listextract", i+1);
5625           goto EXPAND_FAILED_CURLY;
5626           }
5627
5628         sub[i] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
5629         if (!sub[i])     goto EXPAND_FAILED;            /*{*/
5630         if (*s++ != '}')
5631           {
5632           expand_string_message = string_sprintf(
5633             "missing '}' closing arg %d of listextract", i+1);
5634           goto EXPAND_FAILED_CURLY;
5635           }
5636
5637         /* After removal of leading and trailing white space, the first
5638         argument must be numeric and nonempty. */
5639
5640         if (i == 0)
5641           {
5642           int len;
5643           int x = 0;
5644           uschar *p = sub[0];
5645
5646           while (isspace(*p)) p++;
5647           sub[0] = p;
5648
5649           len = Ustrlen(p);
5650           while (len > 0 && isspace(p[len-1])) len--;
5651           p[len] = 0;
5652
5653           if (!*p && !skipping)
5654             {
5655             expand_string_message = US"first argument of \"listextract\" must "
5656               "not be empty";
5657             goto EXPAND_FAILED;
5658             }
5659
5660           if (*p == '-')
5661             {
5662             field_number = -1;
5663             p++;
5664             }
5665           while (*p && isdigit(*p)) x = x * 10 + *p++ - '0';
5666           if (*p)
5667             {
5668             expand_string_message = US"first argument of \"listextract\" must "
5669               "be numeric";
5670             goto EXPAND_FAILED;
5671             }
5672           field_number *= x;
5673           }
5674         }
5675
5676       /* Extract the numbered element into $value. If
5677       skipping, just pretend the extraction failed. */
5678
5679       lookup_value = skipping? NULL : expand_getlistele(field_number, sub[1]);
5680
5681       /* If no string follows, $value gets substituted; otherwise there can
5682       be yes/no strings, as for lookup or if. */
5683
5684       switch(process_yesno(
5685                skipping,                     /* were previously skipping */
5686                lookup_value != NULL,         /* success/failure indicator */
5687                save_lookup_value,            /* value to reset for string2 */
5688                &s,                           /* input pointer */
5689                &yield,                       /* output pointer */
5690                US"listextract",              /* condition type */
5691                &resetok))
5692         {
5693         case 1: goto EXPAND_FAILED;          /* when all is well, the */
5694         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
5695         }
5696
5697       /* All done - restore numerical variables. */
5698
5699       restore_expand_strings(save_expand_nmax, save_expand_nstring,
5700         save_expand_nlength);
5701
5702       continue;
5703       }
5704
5705 #ifdef SUPPORT_TLS
5706     case EITEM_CERTEXTRACT:
5707       {
5708       uschar *save_lookup_value = lookup_value;
5709       uschar *sub[2];
5710       int save_expand_nmax =
5711         save_expand_strings(save_expand_nstring, save_expand_nlength);
5712
5713       /* Read the field argument */
5714       while (isspace(*s)) s++;
5715       if (*s != '{')                                    /*}*/
5716         {
5717         expand_string_message = US"missing '{' for field arg of certextract";
5718         goto EXPAND_FAILED_CURLY;
5719         }
5720       sub[0] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
5721       if (!sub[0])     goto EXPAND_FAILED;              /*{*/
5722       if (*s++ != '}')
5723         {
5724         expand_string_message = US"missing '}' closing field arg of certextract";
5725         goto EXPAND_FAILED_CURLY;
5726         }
5727       /* strip spaces fore & aft */
5728       {
5729       int len;
5730       uschar *p = sub[0];
5731
5732       while (isspace(*p)) p++;
5733       sub[0] = p;
5734
5735       len = Ustrlen(p);
5736       while (len > 0 && isspace(p[len-1])) len--;
5737       p[len] = 0;
5738       }
5739
5740       /* inspect the cert argument */
5741       while (isspace(*s)) s++;
5742       if (*s != '{')                                    /*}*/
5743         {
5744         expand_string_message = US"missing '{' for cert variable arg of certextract";
5745         goto EXPAND_FAILED_CURLY;
5746         }
5747       if (*++s != '$')
5748         {
5749         expand_string_message = US"second argument of \"certextract\" must "
5750           "be a certificate variable";
5751         goto EXPAND_FAILED;
5752         }
5753       sub[1] = expand_string_internal(s+1, TRUE, &s, skipping, FALSE, &resetok);
5754       if (!sub[1])     goto EXPAND_FAILED;              /*{*/
5755       if (*s++ != '}')
5756         {
5757         expand_string_message = US"missing '}' closing cert variable arg of certextract";
5758         goto EXPAND_FAILED_CURLY;
5759         }
5760
5761       if (skipping)
5762         lookup_value = NULL;
5763       else
5764         {
5765         lookup_value = expand_getcertele(sub[0], sub[1]);
5766         if (*expand_string_message) goto EXPAND_FAILED;
5767         }
5768       switch(process_yesno(
5769                skipping,                     /* were previously skipping */
5770                lookup_value != NULL,         /* success/failure indicator */
5771                save_lookup_value,            /* value to reset for string2 */
5772                &s,                           /* input pointer */
5773                &yield,                       /* output pointer */
5774                US"certextract",              /* condition type */
5775                &resetok))
5776         {
5777         case 1: goto EXPAND_FAILED;          /* when all is well, the */
5778         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
5779         }
5780
5781       restore_expand_strings(save_expand_nmax, save_expand_nstring,
5782         save_expand_nlength);
5783       continue;
5784       }
5785 #endif  /*SUPPORT_TLS*/
5786
5787     /* Handle list operations */
5788
5789     case EITEM_FILTER:
5790     case EITEM_MAP:
5791     case EITEM_REDUCE:
5792       {
5793       int sep = 0;
5794       int save_ptr = yield->ptr;
5795       uschar outsep[2] = { '\0', '\0' };
5796       const uschar *list, *expr, *temp;
5797       uschar *save_iterate_item = iterate_item;
5798       uschar *save_lookup_value = lookup_value;
5799
5800       while (isspace(*s)) s++;
5801       if (*s++ != '{')
5802         {
5803         expand_string_message =
5804           string_sprintf("missing '{' for first arg of %s", name);
5805         goto EXPAND_FAILED_CURLY;
5806         }
5807
5808       list = expand_string_internal(s, TRUE, &s, skipping, TRUE, &resetok);
5809       if (list == NULL) goto EXPAND_FAILED;
5810       if (*s++ != '}')
5811         {
5812         expand_string_message =
5813           string_sprintf("missing '}' closing first arg of %s", name);
5814         goto EXPAND_FAILED_CURLY;
5815         }
5816
5817       if (item_type == EITEM_REDUCE)
5818         {
5819         uschar * t;
5820         while (isspace(*s)) s++;
5821         if (*s++ != '{')
5822           {
5823           expand_string_message = US"missing '{' for second arg of reduce";
5824           goto EXPAND_FAILED_CURLY;
5825           }
5826         t = expand_string_internal(s, TRUE, &s, skipping, TRUE, &resetok);
5827         if (!t) goto EXPAND_FAILED;
5828         lookup_value = t;
5829         if (*s++ != '}')
5830           {
5831           expand_string_message = US"missing '}' closing second arg of reduce";
5832           goto EXPAND_FAILED_CURLY;
5833           }
5834         }
5835
5836       while (isspace(*s)) s++;
5837       if (*s++ != '{')
5838         {
5839         expand_string_message =
5840           string_sprintf("missing '{' for last arg of %s", name);
5841         goto EXPAND_FAILED_CURLY;
5842         }
5843
5844       expr = s;
5845
5846       /* For EITEM_FILTER, call eval_condition once, with result discarded (as
5847       if scanning a "false" part). This allows us to find the end of the
5848       condition, because if the list is empty, we won't actually evaluate the
5849       condition for real. For EITEM_MAP and EITEM_REDUCE, do the same, using
5850       the normal internal expansion function. */
5851
5852       if (item_type == EITEM_FILTER)
5853         {
5854         temp = eval_condition(expr, &resetok, NULL);
5855         if (temp != NULL) s = temp;
5856         }
5857       else
5858         temp = expand_string_internal(s, TRUE, &s, TRUE, TRUE, &resetok);
5859
5860       if (temp == NULL)
5861         {
5862         expand_string_message = string_sprintf("%s inside \"%s\" item",
5863           expand_string_message, name);
5864         goto EXPAND_FAILED;
5865         }
5866
5867       while (isspace(*s)) s++;
5868       if (*s++ != '}')
5869         {                                               /*{*/
5870         expand_string_message = string_sprintf("missing } at end of condition "
5871           "or expression inside \"%s\"; could be an unquoted } in the content",
5872           name);
5873         goto EXPAND_FAILED;
5874         }
5875
5876       while (isspace(*s)) s++;                          /*{*/
5877       if (*s++ != '}')
5878         {                                               /*{*/
5879         expand_string_message = string_sprintf("missing } at end of \"%s\"",
5880           name);
5881         goto EXPAND_FAILED;
5882         }
5883
5884       /* If we are skipping, we can now just move on to the next item. When
5885       processing for real, we perform the iteration. */
5886
5887       if (skipping) continue;
5888       while ((iterate_item = string_nextinlist(&list, &sep, NULL, 0)))
5889         {
5890         *outsep = (uschar)sep;      /* Separator as a string */
5891
5892         DEBUG(D_expand) debug_printf_indent("%s: $item = '%s'  $value = '%s'\n",
5893                           name, iterate_item, lookup_value);
5894
5895         if (item_type == EITEM_FILTER)
5896           {
5897           BOOL condresult;
5898           if (eval_condition(expr, &resetok, &condresult) == NULL)
5899             {
5900             iterate_item = save_iterate_item;
5901             lookup_value = save_lookup_value;
5902             expand_string_message = string_sprintf("%s inside \"%s\" condition",
5903               expand_string_message, name);
5904             goto EXPAND_FAILED;
5905             }
5906           DEBUG(D_expand) debug_printf_indent("%s: condition is %s\n", name,
5907             condresult? "true":"false");
5908           if (condresult)
5909             temp = iterate_item;    /* TRUE => include this item */
5910           else
5911             continue;               /* FALSE => skip this item */
5912           }
5913
5914         /* EITEM_MAP and EITEM_REDUCE */
5915
5916         else
5917           {
5918           uschar * t = expand_string_internal(expr, TRUE, NULL, skipping, TRUE, &resetok);
5919           temp = t;
5920           if (temp == NULL)
5921             {
5922             iterate_item = save_iterate_item;
5923             expand_string_message = string_sprintf("%s inside \"%s\" item",
5924               expand_string_message, name);
5925             goto EXPAND_FAILED;
5926             }
5927           if (item_type == EITEM_REDUCE)
5928             {
5929             lookup_value = t;         /* Update the value of $value */
5930             continue;                 /* and continue the iteration */
5931             }
5932           }
5933
5934         /* We reach here for FILTER if the condition is true, always for MAP,
5935         and never for REDUCE. The value in "temp" is to be added to the output
5936         list that is being created, ensuring that any occurrences of the
5937         separator character are doubled. Unless we are dealing with the first
5938         item of the output list, add in a space if the new item begins with the
5939         separator character, or is an empty string. */
5940
5941         if (yield->ptr != save_ptr && (temp[0] == *outsep || temp[0] == 0))
5942           yield = string_catn(yield, US" ", 1);
5943
5944         /* Add the string in "temp" to the output list that we are building,
5945         This is done in chunks by searching for the separator character. */
5946
5947         for (;;)
5948           {
5949           size_t seglen = Ustrcspn(temp, outsep);
5950
5951           yield = string_catn(yield, temp, seglen + 1);
5952
5953           /* If we got to the end of the string we output one character
5954           too many; backup and end the loop. Otherwise arrange to double the
5955           separator. */
5956
5957           if (temp[seglen] == '\0') { yield->ptr--; break; }
5958           yield = string_catn(yield, outsep, 1);
5959           temp += seglen + 1;
5960           }
5961
5962         /* Output a separator after the string: we will remove the redundant
5963         final one at the end. */
5964
5965         yield = string_catn(yield, outsep, 1);
5966         }   /* End of iteration over the list loop */
5967
5968       /* REDUCE has generated no output above: output the final value of
5969       $value. */
5970
5971       if (item_type == EITEM_REDUCE)
5972         {
5973         yield = string_cat(yield, lookup_value);
5974         lookup_value = save_lookup_value;  /* Restore $value */
5975         }
5976
5977       /* FILTER and MAP generate lists: if they have generated anything, remove
5978       the redundant final separator. Even though an empty item at the end of a
5979       list does not count, this is tidier. */
5980
5981       else if (yield->ptr != save_ptr) yield->ptr--;
5982
5983       /* Restore preserved $item */
5984
5985       iterate_item = save_iterate_item;
5986       continue;
5987       }
5988
5989     case EITEM_SORT:
5990       {
5991       int sep = 0;
5992       const uschar *srclist, *cmp, *xtract;
5993       uschar *srcitem;
5994       const uschar *dstlist = NULL, *dstkeylist = NULL;
5995       uschar * tmp;
5996       uschar *save_iterate_item = iterate_item;
5997
5998       while (isspace(*s)) s++;
5999       if (*s++ != '{')
6000         {
6001         expand_string_message = US"missing '{' for list arg of sort";
6002         goto EXPAND_FAILED_CURLY;
6003         }
6004
6005       srclist = expand_string_internal(s, TRUE, &s, skipping, TRUE, &resetok);
6006       if (!srclist) goto EXPAND_FAILED;
6007       if (*s++ != '}')
6008         {
6009         expand_string_message = US"missing '}' closing list arg of sort";
6010         goto EXPAND_FAILED_CURLY;
6011         }
6012
6013       while (isspace(*s)) s++;
6014       if (*s++ != '{')
6015         {
6016         expand_string_message = US"missing '{' for comparator arg of sort";
6017         goto EXPAND_FAILED_CURLY;
6018         }
6019
6020       cmp = expand_string_internal(s, TRUE, &s, skipping, FALSE, &resetok);
6021       if (!cmp) goto EXPAND_FAILED;
6022       if (*s++ != '}')
6023         {
6024         expand_string_message = US"missing '}' closing comparator arg of sort";
6025         goto EXPAND_FAILED_CURLY;
6026         }
6027
6028       while (isspace(*s)) s++;
6029       if (*s++ != '{')
6030         {
6031         expand_string_message = US"missing '{' for extractor arg of sort";
6032         goto EXPAND_FAILED_CURLY;
6033         }
6034
6035       xtract = s;
6036       tmp = expand_string_internal(s, TRUE, &s, TRUE, TRUE, &resetok);
6037       if (!tmp) goto EXPAND_FAILED;
6038       xtract = string_copyn(xtract, s - xtract);
6039
6040       if (*s++ != '}')
6041         {
6042         expand_string_message = US"missing '}' closing extractor arg of sort";
6043         goto EXPAND_FAILED_CURLY;
6044         }
6045                                                         /*{*/
6046       if (*s++ != '}')
6047         {                                               /*{*/
6048         expand_string_message = US"missing } at end of \"sort\"";
6049         goto EXPAND_FAILED;
6050         }
6051
6052       if (skipping) continue;
6053
6054       while ((srcitem = string_nextinlist(&srclist, &sep, NULL, 0)))
6055         {
6056         uschar * dstitem;
6057         gstring * newlist = NULL;
6058         gstring * newkeylist = NULL;
6059         uschar * srcfield;
6060
6061         DEBUG(D_expand) debug_printf_indent("%s: $item = \"%s\"\n", name, srcitem);
6062
6063         /* extract field for comparisons */
6064         iterate_item = srcitem;
6065         if (  !(srcfield = expand_string_internal(xtract, FALSE, NULL, FALSE,
6066                                           TRUE, &resetok))
6067            || !*srcfield)
6068           {
6069           expand_string_message = string_sprintf(
6070               "field-extract in sort: \"%s\"", xtract);
6071           goto EXPAND_FAILED;
6072           }
6073
6074         /* Insertion sort */
6075
6076         /* copy output list until new-item < list-item */
6077         while ((dstitem = string_nextinlist(&dstlist, &sep, NULL, 0)))
6078           {
6079           uschar * dstfield;
6080           uschar * expr;
6081           BOOL before;
6082
6083           /* field for comparison */
6084           if (!(dstfield = string_nextinlist(&dstkeylist, &sep, NULL, 0)))
6085             goto sort_mismatch;
6086
6087           /* build and run condition string */
6088           expr = string_sprintf("%s{%s}{%s}", cmp, srcfield, dstfield);
6089
6090           DEBUG(D_expand) debug_printf_indent("%s: cond = \"%s\"\n", name, expr);
6091           if (!eval_condition(expr, &resetok, &before))
6092             {
6093             expand_string_message = string_sprintf("comparison in sort: %s",
6094                 expr);
6095             goto EXPAND_FAILED;
6096             }
6097
6098           if (before)
6099             {
6100             /* New-item sorts before this dst-item.  Append new-item,
6101             then dst-item, then remainder of dst list. */
6102
6103             newlist = string_append_listele(newlist, sep, srcitem);
6104             newkeylist = string_append_listele(newkeylist, sep, srcfield);
6105             srcitem = NULL;
6106
6107             newlist = string_append_listele(newlist, sep, dstitem);
6108             newkeylist = string_append_listele(newkeylist, sep, dstfield);
6109
6110             while ((dstitem = string_nextinlist(&dstlist, &sep, NULL, 0)))
6111               {
6112               if (!(dstfield = string_nextinlist(&dstkeylist, &sep, NULL, 0)))
6113                 goto sort_mismatch;
6114               newlist = string_append_listele(newlist, sep, dstitem);
6115               newkeylist = string_append_listele(newkeylist, sep, dstfield);
6116               }
6117
6118             break;
6119             }
6120
6121           newlist = string_append_listele(newlist, sep, dstitem);
6122           newkeylist = string_append_listele(newkeylist, sep, dstfield);
6123           }
6124
6125         /* If we ran out of dstlist without consuming srcitem, append it */
6126         if (srcitem)
6127           {
6128           newlist = string_append_listele(newlist, sep, srcitem);
6129           newkeylist = string_append_listele(newkeylist, sep, srcfield);
6130           }
6131
6132         dstlist = newlist->s;
6133         dstkeylist = newkeylist->s;
6134
6135         DEBUG(D_expand) debug_printf_indent("%s: dstlist = \"%s\"\n", name, dstlist);
6136         DEBUG(D_expand) debug_printf_indent("%s: dstkeylist = \"%s\"\n", name, dstkeylist);
6137         }
6138
6139       if (dstlist)
6140         yield = string_cat(yield, dstlist);
6141
6142       /* Restore preserved $item */
6143       iterate_item = save_iterate_item;
6144       continue;
6145
6146       sort_mismatch:
6147         expand_string_message = US"Internal error in sort (list mismatch)";
6148         goto EXPAND_FAILED;
6149       }
6150
6151
6152     /* If ${dlfunc } support is configured, handle calling dynamically-loaded
6153     functions, unless locked out at this time. Syntax is ${dlfunc{file}{func}}
6154     or ${dlfunc{file}{func}{arg}} or ${dlfunc{file}{func}{arg1}{arg2}} or up to
6155     a maximum of EXPAND_DLFUNC_MAX_ARGS arguments (defined below). */
6156
6157     #define EXPAND_DLFUNC_MAX_ARGS 8
6158
6159     case EITEM_DLFUNC:
6160 #ifndef EXPAND_DLFUNC
6161       expand_string_message = US"\"${dlfunc\" encountered, but this facility "  /*}*/
6162         "is not included in this binary";
6163       goto EXPAND_FAILED;
6164
6165 #else   /* EXPAND_DLFUNC */
6166       {
6167       tree_node *t;
6168       exim_dlfunc_t *func;
6169       uschar *result;
6170       int status, argc;
6171       uschar *argv[EXPAND_DLFUNC_MAX_ARGS + 3];
6172
6173       if ((expand_forbid & RDO_DLFUNC) != 0)
6174         {
6175         expand_string_message =
6176           US"dynamically-loaded functions are not permitted";
6177         goto EXPAND_FAILED;
6178         }
6179
6180       switch(read_subs(argv, EXPAND_DLFUNC_MAX_ARGS + 2, 2, &s, skipping,
6181            TRUE, US"dlfunc", &resetok))
6182         {
6183         case 1: goto EXPAND_FAILED_CURLY;
6184         case 2:
6185         case 3: goto EXPAND_FAILED;
6186         }
6187
6188       /* If skipping, we don't actually do anything */
6189
6190       if (skipping) continue;
6191
6192       /* Look up the dynamically loaded object handle in the tree. If it isn't
6193       found, dlopen() the file and put the handle in the tree for next time. */
6194
6195       t = tree_search(dlobj_anchor, argv[0]);
6196       if (t == NULL)
6197         {
6198         void *handle = dlopen(CS argv[0], RTLD_LAZY);
6199         if (handle == NULL)
6200           {
6201           expand_string_message = string_sprintf("dlopen \"%s\" failed: %s",
6202             argv[0], dlerror());
6203           log_write(0, LOG_MAIN|LOG_PANIC, "%s", expand_string_message);
6204           goto EXPAND_FAILED;
6205           }
6206         t = store_get_perm(sizeof(tree_node) + Ustrlen(argv[0]));
6207         Ustrcpy(t->name, argv[0]);
6208         t->data.ptr = handle;
6209         (void)tree_insertnode(&dlobj_anchor, t);
6210         }
6211
6212       /* Having obtained the dynamically loaded object handle, look up the
6213       function pointer. */
6214
6215       func = (exim_dlfunc_t *)dlsym(t->data.ptr, CS argv[1]);
6216       if (func == NULL)
6217         {
6218         expand_string_message = string_sprintf("dlsym \"%s\" in \"%s\" failed: "
6219           "%s", argv[1], argv[0], dlerror());
6220         log_write(0, LOG_MAIN|LOG_PANIC, "%s", expand_string_message);
6221         goto EXPAND_FAILED;
6222         }
6223
6224       /* Call the function and work out what to do with the result. If it
6225       returns OK, we have a replacement string; if it returns DEFER then
6226       expansion has failed in a non-forced manner; if it returns FAIL then
6227       failure was forced; if it returns ERROR or any other value there's a
6228       problem, so panic slightly. In any case, assume that the function has
6229       side-effects on the store that must be preserved. */
6230
6231       resetok = FALSE;
6232       result = NULL;
6233       for (argc = 0; argv[argc] != NULL; argc++);
6234       status = func(&result, argc - 2, &argv[2]);
6235       if(status == OK)
6236         {
6237         if (result == NULL) result = US"";
6238         yield = string_cat(yield, result);
6239         continue;
6240         }
6241       else
6242         {
6243         expand_string_message = result == NULL ? US"(no message)" : result;
6244         if(status == FAIL_FORCED) expand_string_forcedfail = TRUE;
6245           else if(status != FAIL)
6246             log_write(0, LOG_MAIN|LOG_PANIC, "dlfunc{%s}{%s} failed (%d): %s",
6247               argv[0], argv[1], status, expand_string_message);
6248         goto EXPAND_FAILED;
6249         }
6250       }
6251 #endif /* EXPAND_DLFUNC */
6252
6253     case EITEM_ENV:     /* ${env {name} {val_if_found} {val_if_unfound}} */
6254       {
6255       uschar * key;
6256       uschar *save_lookup_value = lookup_value;
6257
6258       while (isspace(*s)) s++;
6259       if (*s != '{')                                    /*}*/
6260         goto EXPAND_FAILED;
6261
6262       key = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
6263       if (!key) goto EXPAND_FAILED;                     /*{*/
6264       if (*s++ != '}')
6265         {
6266         expand_string_message = US"missing '{' for name arg of env";
6267         goto EXPAND_FAILED_CURLY;
6268         }
6269
6270       lookup_value = US getenv(CS key);
6271
6272       switch(process_yesno(
6273                skipping,                     /* were previously skipping */
6274                lookup_value != NULL,         /* success/failure indicator */
6275                save_lookup_value,            /* value to reset for string2 */
6276                &s,                           /* input pointer */
6277                &yield,                       /* output pointer */
6278                US"env",                      /* condition type */
6279                &resetok))
6280         {
6281         case 1: goto EXPAND_FAILED;          /* when all is well, the */
6282         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
6283         }
6284       continue;
6285       }
6286     }   /* EITEM_* switch */
6287
6288   /* Control reaches here if the name is not recognized as one of the more
6289   complicated expansion items. Check for the "operator" syntax (name terminated
6290   by a colon). Some of the operators have arguments, separated by _ from the
6291   name. */
6292
6293   if (*s == ':')
6294     {
6295     int c;
6296     uschar *arg = NULL;
6297     uschar *sub;
6298     var_entry *vp = NULL;
6299
6300     /* Owing to an historical mis-design, an underscore may be part of the
6301     operator name, or it may introduce arguments.  We therefore first scan the
6302     table of names that contain underscores. If there is no match, we cut off
6303     the arguments and then scan the main table. */
6304
6305     if ((c = chop_match(name, op_table_underscore,
6306                         nelem(op_table_underscore))) < 0)
6307       {
6308       arg = Ustrchr(name, '_');
6309       if (arg != NULL) *arg = 0;
6310       c = chop_match(name, op_table_main, nelem(op_table_main));
6311       if (c >= 0) c += nelem(op_table_underscore);
6312       if (arg != NULL) *arg++ = '_';   /* Put back for error messages */
6313       }
6314
6315     /* Deal specially with operators that might take a certificate variable
6316     as we do not want to do the usual expansion. For most, expand the string.*/
6317     switch(c)
6318       {
6319 #ifdef SUPPORT_TLS
6320       case EOP_MD5:
6321       case EOP_SHA1:
6322       case EOP_SHA256:
6323       case EOP_BASE64:
6324         if (s[1] == '$')
6325           {
6326           const uschar * s1 = s;
6327           sub = expand_string_internal(s+2, TRUE, &s1, skipping,
6328                   FALSE, &resetok);
6329           if (!sub)       goto EXPAND_FAILED;           /*{*/
6330           if (*s1 != '}')
6331             {
6332             expand_string_message =
6333               string_sprintf("missing '}' closing cert arg of %s", name);
6334             goto EXPAND_FAILED_CURLY;
6335             }
6336           if ((vp = find_var_ent(sub)) && vp->type == vtype_cert)
6337             {
6338             s = s1+1;
6339             break;
6340             }
6341           vp = NULL;
6342           }
6343         /*FALLTHROUGH*/
6344 #endif
6345       default:
6346         sub = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
6347         if (!sub) goto EXPAND_FAILED;
6348         s++;
6349         break;
6350       }
6351
6352     /* If we are skipping, we don't need to perform the operation at all.
6353     This matters for operations like "mask", because the data may not be
6354     in the correct format when skipping. For example, the expression may test
6355     for the existence of $sender_host_address before trying to mask it. For
6356     other operations, doing them may not fail, but it is a waste of time. */
6357
6358     if (skipping && c >= 0) continue;
6359
6360     /* Otherwise, switch on the operator type */
6361
6362     switch(c)
6363       {
6364       case EOP_BASE32:
6365         {
6366         uschar *t;
6367         unsigned long int n = Ustrtoul(sub, &t, 10);
6368         gstring * g = NULL;
6369
6370         if (*t != 0)
6371           {
6372           expand_string_message = string_sprintf("argument for base32 "
6373             "operator is \"%s\", which is not a decimal number", sub);
6374           goto EXPAND_FAILED;
6375           }
6376         for ( ; n; n >>= 5)
6377           g = string_catn(g, &base32_chars[n & 0x1f], 1);
6378
6379         if (g) while (g->ptr > 0) yield = string_catn(yield, &g->s[--g->ptr], 1);
6380         continue;
6381         }
6382
6383       case EOP_BASE32D:
6384         {
6385         uschar *tt = sub;
6386         unsigned long int n = 0;
6387         uschar * s;
6388         while (*tt)
6389           {
6390           uschar * t = Ustrchr(base32_chars, *tt++);
6391           if (t == NULL)
6392             {
6393             expand_string_message = string_sprintf("argument for base32d "
6394               "operator is \"%s\", which is not a base 32 number", sub);
6395             goto EXPAND_FAILED;
6396             }
6397           n = n * 32 + (t - base32_chars);
6398           }
6399         s = string_sprintf("%ld", n);
6400         yield = string_cat(yield, s);
6401         continue;
6402         }
6403
6404       case EOP_BASE62:
6405         {
6406         uschar *t;
6407         unsigned long int n = Ustrtoul(sub, &t, 10);
6408         if (*t != 0)
6409           {
6410           expand_string_message = string_sprintf("argument for base62 "
6411             "operator is \"%s\", which is not a decimal number", sub);
6412           goto EXPAND_FAILED;
6413           }
6414         t = string_base62(n);
6415         yield = string_cat(yield, t);
6416         continue;
6417         }
6418
6419       /* Note that for Darwin and Cygwin, BASE_62 actually has the value 36 */
6420
6421       case EOP_BASE62D:
6422         {
6423         uschar buf[16];
6424         uschar *tt = sub;
6425         unsigned long int n = 0;
6426         while (*tt != 0)
6427           {
6428           uschar *t = Ustrchr(base62_chars, *tt++);
6429           if (t == NULL)
6430             {
6431             expand_string_message = string_sprintf("argument for base62d "
6432               "operator is \"%s\", which is not a base %d number", sub,
6433               BASE_62);
6434             goto EXPAND_FAILED;
6435             }
6436           n = n * BASE_62 + (t - base62_chars);
6437           }
6438         (void)sprintf(CS buf, "%ld", n);
6439         yield = string_cat(yield, buf);
6440         continue;
6441         }
6442
6443       case EOP_EXPAND:
6444         {
6445         uschar *expanded = expand_string_internal(sub, FALSE, NULL, skipping, TRUE, &resetok);
6446         if (expanded == NULL)
6447           {
6448           expand_string_message =
6449             string_sprintf("internal expansion of \"%s\" failed: %s", sub,
6450               expand_string_message);
6451           goto EXPAND_FAILED;
6452           }
6453         yield = string_cat(yield, expanded);
6454         continue;
6455         }
6456
6457       case EOP_LC:
6458         {
6459         int count = 0;
6460         uschar *t = sub - 1;
6461         while (*(++t) != 0) { *t = tolower(*t); count++; }
6462         yield = string_catn(yield, sub, count);
6463         continue;
6464         }
6465
6466       case EOP_UC:
6467         {
6468         int count = 0;
6469         uschar *t = sub - 1;
6470         while (*(++t) != 0) { *t = toupper(*t); count++; }
6471         yield = string_catn(yield, sub, count);
6472         continue;
6473         }
6474
6475       case EOP_MD5:
6476 #ifdef SUPPORT_TLS
6477         if (vp && *(void **)vp->value)
6478           {
6479           uschar * cp = tls_cert_fprt_md5(*(void **)vp->value);
6480           yield = string_cat(yield, cp);
6481           }
6482         else
6483 #endif
6484           {
6485           md5 base;
6486           uschar digest[16];
6487           int j;
6488           char st[33];
6489           md5_start(&base);
6490           md5_end(&base, sub, Ustrlen(sub), digest);
6491           for(j = 0; j < 16; j++) sprintf(st+2*j, "%02x", digest[j]);
6492           yield = string_cat(yield, US st);
6493           }
6494         continue;
6495
6496       case EOP_SHA1:
6497 #ifdef SUPPORT_TLS
6498         if (vp && *(void **)vp->value)
6499           {
6500           uschar * cp = tls_cert_fprt_sha1(*(void **)vp->value);
6501           yield = string_cat(yield, cp);
6502           }
6503         else
6504 #endif
6505           {
6506           hctx h;
6507           uschar digest[20];
6508           int j;
6509           char st[41];
6510           sha1_start(&h);
6511           sha1_end(&h, sub, Ustrlen(sub), digest);
6512           for(j = 0; j < 20; j++) sprintf(st+2*j, "%02X", digest[j]);
6513           yield = string_catn(yield, US st, 40);
6514           }
6515         continue;
6516
6517       case EOP_SHA256:
6518 #ifdef EXIM_HAVE_SHA2
6519         if (vp && *(void **)vp->value)
6520           {
6521           uschar * cp = tls_cert_fprt_sha256(*(void **)vp->value);
6522           yield = string_cat(yield, cp);
6523           }
6524         else
6525           {
6526           hctx h;
6527           blob b;
6528           char st[3];
6529
6530           if (!exim_sha_init(&h, HASH_SHA2_256))
6531             {
6532             expand_string_message = US"unrecognised sha256 variant";
6533             goto EXPAND_FAILED;
6534             }
6535           exim_sha_update(&h, sub, Ustrlen(sub));
6536           exim_sha_finish(&h, &b);
6537           while (b.len-- > 0)
6538             {
6539             sprintf(st, "%02X", *b.data++);
6540             yield = string_catn(yield, US st, 2);
6541             }
6542           }
6543 #else
6544           expand_string_message = US"sha256 only supported with TLS";
6545 #endif
6546         continue;
6547
6548       case EOP_SHA3:
6549 #ifdef EXIM_HAVE_SHA3
6550         {
6551         hctx h;
6552         blob b;
6553         char st[3];
6554         hashmethod m = !arg ? HASH_SHA3_256
6555           : Ustrcmp(arg, "224") == 0 ? HASH_SHA3_224
6556           : Ustrcmp(arg, "256") == 0 ? HASH_SHA3_256
6557           : Ustrcmp(arg, "384") == 0 ? HASH_SHA3_384
6558           : Ustrcmp(arg, "512") == 0 ? HASH_SHA3_512
6559           : HASH_BADTYPE;
6560
6561         if (m == HASH_BADTYPE || !exim_sha_init(&h, m))
6562           {
6563           expand_string_message = US"unrecognised sha3 variant";
6564           goto EXPAND_FAILED;
6565           }
6566
6567         exim_sha_update(&h, sub, Ustrlen(sub));
6568         exim_sha_finish(&h, &b);
6569         while (b.len-- > 0)
6570           {
6571           sprintf(st, "%02X", *b.data++);
6572           yield = string_catn(yield, US st, 2);
6573           }
6574         }
6575         continue;
6576 #else
6577         expand_string_message = US"sha3 only supported with GnuTLS 3.5.0 + or OpenSSL 1.1.1 +";
6578         goto EXPAND_FAILED;
6579 #endif
6580
6581       /* Convert hex encoding to base64 encoding */
6582
6583       case EOP_HEX2B64:
6584         {
6585         int c = 0;
6586         int b = -1;
6587         uschar *in = sub;
6588         uschar *out = sub;
6589         uschar *enc;
6590
6591         for (enc = sub; *enc != 0; enc++)
6592           {
6593           if (!isxdigit(*enc))
6594             {
6595             expand_string_message = string_sprintf("\"%s\" is not a hex "
6596               "string", sub);
6597             goto EXPAND_FAILED;
6598             }
6599           c++;
6600           }
6601
6602         if ((c & 1) != 0)
6603           {
6604           expand_string_message = string_sprintf("\"%s\" contains an odd "
6605             "number of characters", sub);
6606           goto EXPAND_FAILED;
6607           }
6608
6609         while ((c = *in++) != 0)
6610           {
6611           if (isdigit(c)) c -= '0';
6612           else c = toupper(c) - 'A' + 10;
6613           if (b == -1)
6614             {
6615             b = c << 4;
6616             }
6617           else
6618             {
6619             *out++ = b | c;
6620             b = -1;
6621             }
6622           }
6623
6624         enc = b64encode(sub, out - sub);
6625         yield = string_cat(yield, enc);
6626         continue;
6627         }
6628
6629       /* Convert octets outside 0x21..0x7E to \xXX form */
6630
6631       case EOP_HEXQUOTE:
6632         {
6633         uschar *t = sub - 1;
6634         while (*(++t) != 0)
6635           {
6636           if (*t < 0x21 || 0x7E < *t)
6637             yield = string_catn(yield, string_sprintf("\\x%02x", *t), 4);
6638           else
6639             yield = string_catn(yield, t, 1);
6640           }
6641         continue;
6642         }
6643
6644       /* count the number of list elements */
6645
6646       case EOP_LISTCOUNT:
6647         {
6648         int cnt = 0;
6649         int sep = 0;
6650         uschar * cp;
6651         uschar buffer[256];
6652
6653         while (string_nextinlist(CUSS &sub, &sep, buffer, sizeof(buffer)) != NULL) cnt++;
6654         cp = string_sprintf("%d", cnt);
6655         yield = string_cat(yield, cp);
6656         continue;
6657         }
6658
6659       /* expand a named list given the name */
6660       /* handles nested named lists; requotes as colon-sep list */
6661
6662       case EOP_LISTNAMED:
6663         {
6664         tree_node *t = NULL;
6665         const uschar * list;
6666         int sep = 0;
6667         uschar * item;
6668         uschar * suffix = US"";
6669         BOOL needsep = FALSE;
6670         uschar buffer[256];
6671
6672         if (*sub == '+') sub++;
6673         if (arg == NULL)        /* no-argument version */
6674           {
6675           if (!(t = tree_search(addresslist_anchor, sub)) &&
6676               !(t = tree_search(domainlist_anchor,  sub)) &&
6677               !(t = tree_search(hostlist_anchor,    sub)))
6678             t = tree_search(localpartlist_anchor, sub);
6679           }
6680         else switch(*arg)       /* specific list-type version */
6681           {
6682           case 'a': t = tree_search(addresslist_anchor,   sub); suffix = US"_a"; break;
6683           case 'd': t = tree_search(domainlist_anchor,    sub); suffix = US"_d"; break;
6684           case 'h': t = tree_search(hostlist_anchor,      sub); suffix = US"_h"; break;
6685           case 'l': t = tree_search(localpartlist_anchor, sub); suffix = US"_l"; break;
6686           default:
6687             expand_string_message = string_sprintf("bad suffix on \"list\" operator");
6688             goto EXPAND_FAILED;
6689           }
6690
6691         if(!t)
6692           {
6693           expand_string_message = string_sprintf("\"%s\" is not a %snamed list",
6694             sub, !arg?""
6695               : *arg=='a'?"address "
6696               : *arg=='d'?"domain "
6697               : *arg=='h'?"host "
6698               : *arg=='l'?"localpart "
6699               : 0);
6700           goto EXPAND_FAILED;
6701           }
6702
6703         list = ((namedlist_block *)(t->data.ptr))->string;
6704
6705         while ((item = string_nextinlist(&list, &sep, buffer, sizeof(buffer))))
6706           {
6707           uschar * buf = US" : ";
6708           if (needsep)
6709             yield = string_catn(yield, buf, 3);
6710           else
6711             needsep = TRUE;
6712
6713           if (*item == '+')     /* list item is itself a named list */
6714             {
6715             uschar * sub = string_sprintf("${listnamed%s:%s}", suffix, item);
6716             item = expand_string_internal(sub, FALSE, NULL, FALSE, TRUE, &resetok);
6717             }
6718           else if (sep != ':')  /* item from non-colon-sep list, re-quote for colon list-separator */
6719             {
6720             char * cp;
6721             char tok[3];
6722             tok[0] = sep; tok[1] = ':'; tok[2] = 0;
6723             while ((cp= strpbrk(CCS item, tok)))
6724               {
6725               yield = string_catn(yield, item, cp - CS item);
6726               if (*cp++ == ':') /* colon in a non-colon-sep list item, needs doubling */
6727                 {
6728                 yield = string_catn(yield, US"::", 2);
6729                 item = US cp;
6730                 }
6731               else              /* sep in item; should already be doubled; emit once */
6732                 {
6733                 yield = string_catn(yield, US tok, 1);
6734                 if (*cp == sep) cp++;
6735                 item = US cp;
6736                 }
6737               }
6738             }
6739           yield = string_cat(yield, item);
6740           }
6741         continue;
6742         }
6743
6744       /* mask applies a mask to an IP address; for example the result of
6745       ${mask:131.111.10.206/28} is 131.111.10.192/28. */
6746
6747       case EOP_MASK:
6748         {
6749         int count;
6750         uschar *endptr;
6751         int binary[4];
6752         int mask, maskoffset;
6753         int type = string_is_ip_address(sub, &maskoffset);
6754         uschar buffer[64];
6755
6756         if (type == 0)
6757           {
6758           expand_string_message = string_sprintf("\"%s\" is not an IP address",
6759            sub);
6760           goto EXPAND_FAILED;
6761           }
6762
6763         if (maskoffset == 0)
6764           {
6765           expand_string_message = string_sprintf("missing mask value in \"%s\"",
6766             sub);
6767           goto EXPAND_FAILED;
6768           }
6769
6770         mask = Ustrtol(sub + maskoffset + 1, &endptr, 10);
6771
6772         if (*endptr != 0 || mask < 0 || mask > ((type == 4)? 32 : 128))
6773           {
6774           expand_string_message = string_sprintf("mask value too big in \"%s\"",
6775             sub);
6776           goto EXPAND_FAILED;
6777           }
6778
6779         /* Convert the address to binary integer(s) and apply the mask */
6780
6781         sub[maskoffset] = 0;
6782         count = host_aton(sub, binary);
6783         host_mask(count, binary, mask);
6784
6785         /* Convert to masked textual format and add to output. */
6786
6787         yield = string_catn(yield, buffer,
6788           host_nmtoa(count, binary, mask, buffer, '.'));
6789         continue;
6790         }
6791
6792       case EOP_IPV6NORM:
6793       case EOP_IPV6DENORM:
6794         {
6795         int type = string_is_ip_address(sub, NULL);
6796         int binary[4];
6797         uschar buffer[44];
6798
6799         switch (type)
6800           {
6801           case 6:
6802             (void) host_aton(sub, binary);
6803             break;
6804
6805           case 4:       /* convert to IPv4-mapped IPv6 */
6806             binary[0] = binary[1] = 0;
6807             binary[2] = 0x0000ffff;
6808             (void) host_aton(sub, binary+3);
6809             break;
6810
6811           case 0:
6812             expand_string_message =
6813               string_sprintf("\"%s\" is not an IP address", sub);
6814             goto EXPAND_FAILED;
6815           }
6816
6817         yield = string_catn(yield, buffer, c == EOP_IPV6NORM
6818                     ? ipv6_nmtoa(binary, buffer)
6819                     : host_nmtoa(4, binary, -1, buffer, ':')
6820                   );
6821         continue;
6822         }
6823
6824       case EOP_ADDRESS:
6825       case EOP_LOCAL_PART:
6826       case EOP_DOMAIN:
6827         {
6828         uschar * error;
6829         int start, end, domain;
6830         uschar * t = parse_extract_address(sub, &error, &start, &end, &domain,
6831           FALSE);
6832         if (t)
6833           if (c != EOP_DOMAIN)
6834             {
6835             if (c == EOP_LOCAL_PART && domain != 0) end = start + domain - 1;
6836             yield = string_catn(yield, sub+start, end-start);
6837             }
6838           else if (domain != 0)
6839             {
6840             domain += start;
6841             yield = string_catn(yield, sub+domain, end-domain);
6842             }
6843         continue;
6844         }
6845
6846       case EOP_ADDRESSES:
6847         {
6848         uschar outsep[2] = { ':', '\0' };
6849         uschar *address, *error;
6850         int save_ptr = yield->ptr;
6851         int start, end, domain;  /* Not really used */
6852
6853         while (isspace(*sub)) sub++;
6854         if (*sub == '>')
6855           if (*outsep = *++sub) ++sub;
6856           else
6857             {
6858             expand_string_message = string_sprintf("output separator "
6859               "missing in expanding ${addresses:%s}", --sub);
6860             goto EXPAND_FAILED;
6861             }
6862         parse_allow_group = TRUE;
6863
6864         for (;;)
6865           {
6866           uschar *p = parse_find_address_end(sub, FALSE);
6867           uschar saveend = *p;
6868           *p = '\0';
6869           address = parse_extract_address(sub, &error, &start, &end, &domain,
6870             FALSE);
6871           *p = saveend;
6872
6873           /* Add the address to the output list that we are building. This is
6874           done in chunks by searching for the separator character. At the
6875           start, unless we are dealing with the first address of the output
6876           list, add in a space if the new address begins with the separator
6877           character, or is an empty string. */
6878
6879           if (address != NULL)
6880             {
6881             if (yield->ptr != save_ptr && address[0] == *outsep)
6882               yield = string_catn(yield, US" ", 1);
6883
6884             for (;;)
6885               {
6886               size_t seglen = Ustrcspn(address, outsep);
6887               yield = string_catn(yield, address, seglen + 1);
6888
6889               /* If we got to the end of the string we output one character
6890               too many. */
6891
6892               if (address[seglen] == '\0') { yield->ptr--; break; }
6893               yield = string_catn(yield, outsep, 1);
6894               address += seglen + 1;
6895               }
6896
6897             /* Output a separator after the string: we will remove the
6898             redundant final one at the end. */
6899
6900             yield = string_catn(yield, outsep, 1);
6901             }
6902
6903           if (saveend == '\0') break;
6904           sub = p + 1;
6905           }
6906
6907         /* If we have generated anything, remove the redundant final
6908         separator. */
6909
6910         if (yield->ptr != save_ptr) yield->ptr--;
6911         parse_allow_group = FALSE;
6912         continue;
6913         }
6914
6915
6916       /* quote puts a string in quotes if it is empty or contains anything
6917       other than alphamerics, underscore, dot, or hyphen.
6918
6919       quote_local_part puts a string in quotes if RFC 2821/2822 requires it to
6920       be quoted in order to be a valid local part.
6921
6922       In both cases, newlines and carriage returns are converted into \n and \r
6923       respectively */
6924
6925       case EOP_QUOTE:
6926       case EOP_QUOTE_LOCAL_PART:
6927       if (arg == NULL)
6928         {
6929         BOOL needs_quote = (*sub == 0);      /* TRUE for empty string */
6930         uschar *t = sub - 1;
6931
6932         if (c == EOP_QUOTE)
6933           {
6934           while (!needs_quote && *(++t) != 0)
6935             needs_quote = !isalnum(*t) && !strchr("_-.", *t);
6936           }
6937         else  /* EOP_QUOTE_LOCAL_PART */
6938           {
6939           while (!needs_quote && *(++t) != 0)
6940             needs_quote = !isalnum(*t) &&
6941               strchr("!#$%&'*+-/=?^_`{|}~", *t) == NULL &&
6942               (*t != '.' || t == sub || t[1] == 0);
6943           }
6944
6945         if (needs_quote)
6946           {
6947           yield = string_catn(yield, US"\"", 1);
6948           t = sub - 1;
6949           while (*(++t) != 0)
6950             {
6951             if (*t == '\n')
6952               yield = string_catn(yield, US"\\n", 2);
6953             else if (*t == '\r')
6954               yield = string_catn(yield, US"\\r", 2);
6955             else
6956               {
6957               if (*t == '\\' || *t == '"')
6958                 yield = string_catn(yield, US"\\", 1);
6959               yield = string_catn(yield, t, 1);
6960               }
6961             }
6962           yield = string_catn(yield, US"\"", 1);
6963           }
6964         else yield = string_cat(yield, sub);
6965         continue;
6966         }
6967
6968       /* quote_lookuptype does lookup-specific quoting */
6969
6970       else
6971         {
6972         int n;
6973         uschar *opt = Ustrchr(arg, '_');
6974
6975         if (opt != NULL) *opt++ = 0;
6976
6977         n = search_findtype(arg, Ustrlen(arg));
6978         if (n < 0)
6979           {
6980           expand_string_message = search_error_message;
6981           goto EXPAND_FAILED;
6982           }
6983
6984         if (lookup_list[n]->quote != NULL)
6985           sub = (lookup_list[n]->quote)(sub, opt);
6986         else if (opt != NULL) sub = NULL;
6987
6988         if (sub == NULL)
6989           {
6990           expand_string_message = string_sprintf(
6991             "\"%s\" unrecognized after \"${quote_%s\"",
6992             opt, arg);
6993           goto EXPAND_FAILED;
6994           }
6995
6996         yield = string_cat(yield, sub);
6997         continue;
6998         }
6999
7000       /* rx quote sticks in \ before any non-alphameric character so that
7001       the insertion works in a regular expression. */
7002
7003       case EOP_RXQUOTE:
7004         {
7005         uschar *t = sub - 1;
7006         while (*(++t) != 0)
7007           {
7008           if (!isalnum(*t))
7009             yield = string_catn(yield, US"\\", 1);
7010           yield = string_catn(yield, t, 1);
7011           }
7012         continue;
7013         }
7014
7015       /* RFC 2047 encodes, assuming headers_charset (default ISO 8859-1) as
7016       prescribed by the RFC, if there are characters that need to be encoded */
7017
7018       case EOP_RFC2047:
7019         {
7020         uschar buffer[2048];
7021         const uschar *string = parse_quote_2047(sub, Ustrlen(sub), headers_charset,
7022           buffer, sizeof(buffer), FALSE);
7023         yield = string_cat(yield, string);
7024         continue;
7025         }
7026
7027       /* RFC 2047 decode */
7028
7029       case EOP_RFC2047D:
7030         {
7031         int len;
7032         uschar *error;
7033         uschar *decoded = rfc2047_decode(sub, check_rfc2047_length,
7034           headers_charset, '?', &len, &error);
7035         if (error != NULL)
7036           {
7037           expand_string_message = error;
7038           goto EXPAND_FAILED;
7039           }
7040         yield = string_catn(yield, decoded, len);
7041         continue;
7042         }
7043
7044       /* from_utf8 converts UTF-8 to 8859-1, turning non-existent chars into
7045       underscores */
7046
7047       case EOP_FROM_UTF8:
7048         {
7049         while (*sub != 0)
7050           {
7051           int c;
7052           uschar buff[4];
7053           GETUTF8INC(c, sub);
7054           if (c > 255) c = '_';
7055           buff[0] = c;
7056           yield = string_catn(yield, buff, 1);
7057           }
7058         continue;
7059         }
7060
7061           /* replace illegal UTF-8 sequences by replacement character  */
7062
7063       #define UTF8_REPLACEMENT_CHAR US"?"
7064
7065       case EOP_UTF8CLEAN:
7066         {
7067         int seq_len = 0, index = 0;
7068         int bytes_left = 0;
7069         long codepoint = -1;
7070         uschar seq_buff[4];                     /* accumulate utf-8 here */
7071
7072         while (*sub != 0)
7073           {
7074           int complete = 0;
7075           uschar c = *sub++;
7076
7077           if (bytes_left)
7078             {
7079             if ((c & 0xc0) != 0x80)
7080                     /* wrong continuation byte; invalidate all bytes */
7081               complete = 1; /* error */
7082             else
7083               {
7084               codepoint = (codepoint << 6) | (c & 0x3f);
7085               seq_buff[index++] = c;
7086               if (--bytes_left == 0)            /* codepoint complete */
7087                 if(codepoint > 0x10FFFF)        /* is it too large? */
7088                   complete = -1;        /* error (RFC3629 limit) */
7089                 else
7090                   {             /* finished; output utf-8 sequence */
7091                   yield = string_catn(yield, seq_buff, seq_len);
7092                   index = 0;
7093                   }
7094               }
7095             }
7096           else  /* no bytes left: new sequence */
7097             {
7098             if((c & 0x80) == 0) /* 1-byte sequence, US-ASCII, keep it */
7099               {
7100               yield = string_catn(yield, &c, 1);
7101               continue;
7102               }
7103             if((c & 0xe0) == 0xc0)              /* 2-byte sequence */
7104               {
7105               if(c == 0xc0 || c == 0xc1)        /* 0xc0 and 0xc1 are illegal */
7106                 complete = -1;
7107               else
7108                 {
7109                   bytes_left = 1;
7110                   codepoint = c & 0x1f;
7111                 }
7112               }
7113             else if((c & 0xf0) == 0xe0)         /* 3-byte sequence */
7114               {
7115               bytes_left = 2;
7116               codepoint = c & 0x0f;
7117               }
7118             else if((c & 0xf8) == 0xf0)         /* 4-byte sequence */
7119               {
7120               bytes_left = 3;
7121               codepoint = c & 0x07;
7122               }
7123             else        /* invalid or too long (RFC3629 allows only 4 bytes) */
7124               complete = -1;
7125
7126             seq_buff[index++] = c;
7127             seq_len = bytes_left + 1;
7128             }           /* if(bytes_left) */
7129
7130           if (complete != 0)
7131             {
7132             bytes_left = index = 0;
7133             yield = string_catn(yield, UTF8_REPLACEMENT_CHAR, 1);
7134             }
7135           if ((complete == 1) && ((c & 0x80) == 0))
7136                         /* ASCII character follows incomplete sequence */
7137               yield = string_catn(yield, &c, 1);
7138           }
7139         continue;
7140         }
7141
7142 #ifdef SUPPORT_I18N
7143       case EOP_UTF8_DOMAIN_TO_ALABEL:
7144         {
7145         uschar * error = NULL;
7146         uschar * s = string_domain_utf8_to_alabel(sub, &error);
7147         if (error)
7148           {
7149           expand_string_message = string_sprintf(
7150             "error converting utf8 (%s) to alabel: %s",
7151             string_printing(sub), error);
7152           goto EXPAND_FAILED;
7153           }
7154         yield = string_cat(yield, s);
7155         continue;
7156         }
7157
7158       case EOP_UTF8_DOMAIN_FROM_ALABEL:
7159         {
7160         uschar * error = NULL;
7161         uschar * s = string_domain_alabel_to_utf8(sub, &error);
7162         if (error)
7163           {
7164           expand_string_message = string_sprintf(
7165             "error converting alabel (%s) to utf8: %s",
7166             string_printing(sub), error);
7167           goto EXPAND_FAILED;
7168           }
7169         yield = string_cat(yield, s);
7170         continue;
7171         }
7172
7173       case EOP_UTF8_LOCALPART_TO_ALABEL:
7174         {
7175         uschar * error = NULL;
7176         uschar * s = string_localpart_utf8_to_alabel(sub, &error);
7177         if (error)
7178           {
7179           expand_string_message = string_sprintf(
7180             "error converting utf8 (%s) to alabel: %s",
7181             string_printing(sub), error);
7182           goto EXPAND_FAILED;
7183           }
7184         yield = string_cat(yield, s);
7185         DEBUG(D_expand) debug_printf_indent("yield: '%s'\n", yield->s);
7186         continue;
7187         }
7188
7189       case EOP_UTF8_LOCALPART_FROM_ALABEL:
7190         {
7191         uschar * error = NULL;
7192         uschar * s = string_localpart_alabel_to_utf8(sub, &error);
7193         if (error)
7194           {
7195           expand_string_message = string_sprintf(
7196             "error converting alabel (%s) to utf8: %s",
7197             string_printing(sub), error);
7198           goto EXPAND_FAILED;
7199           }
7200         yield = string_cat(yield, s);
7201         continue;
7202         }
7203 #endif  /* EXPERIMENTAL_INTERNATIONAL */
7204
7205       /* escape turns all non-printing characters into escape sequences. */
7206
7207       case EOP_ESCAPE:
7208         {
7209         const uschar * t = string_printing(sub);
7210         yield = string_cat(yield, t);
7211         continue;
7212         }
7213
7214       case EOP_ESCAPE8BIT:
7215         {
7216         const uschar * s = sub;
7217         uschar c;
7218
7219         for (s = sub; (c = *s); s++)
7220           yield = c < 127 && c != '\\'
7221             ? string_catn(yield, s, 1)
7222             : string_catn(yield, string_sprintf("\\%03o", c), 4);
7223         continue;
7224         }
7225
7226       /* Handle numeric expression evaluation */
7227
7228       case EOP_EVAL:
7229       case EOP_EVAL10:
7230         {
7231         uschar *save_sub = sub;
7232         uschar *error = NULL;
7233         int_eximarith_t n = eval_expr(&sub, (c == EOP_EVAL10), &error, FALSE);
7234         if (error != NULL)
7235           {
7236           expand_string_message = string_sprintf("error in expression "
7237             "evaluation: %s (after processing \"%.*s\")", error,
7238             (int)(sub-save_sub), save_sub);
7239           goto EXPAND_FAILED;
7240           }
7241         sprintf(CS var_buffer, PR_EXIM_ARITH, n);
7242         yield = string_cat(yield, var_buffer);
7243         continue;
7244         }
7245
7246       /* Handle time period formating */
7247
7248       case EOP_TIME_EVAL:
7249         {
7250         int n = readconf_readtime(sub, 0, FALSE);
7251         if (n < 0)
7252           {
7253           expand_string_message = string_sprintf("string \"%s\" is not an "
7254             "Exim time interval in \"%s\" operator", sub, name);
7255           goto EXPAND_FAILED;
7256           }
7257         sprintf(CS var_buffer, "%d", n);
7258         yield = string_cat(yield, var_buffer);
7259         continue;
7260         }
7261
7262       case EOP_TIME_INTERVAL:
7263         {
7264         int n;
7265         uschar *t = read_number(&n, sub);
7266         if (*t != 0) /* Not A Number*/
7267           {
7268           expand_string_message = string_sprintf("string \"%s\" is not a "
7269             "positive number in \"%s\" operator", sub, name);
7270           goto EXPAND_FAILED;
7271           }
7272         t = readconf_printtime(n);
7273         yield = string_cat(yield, t);
7274         continue;
7275         }
7276
7277       /* Convert string to base64 encoding */
7278
7279       case EOP_STR2B64:
7280       case EOP_BASE64:
7281         {
7282 #ifdef SUPPORT_TLS
7283         uschar * s = vp && *(void **)vp->value
7284           ? tls_cert_der_b64(*(void **)vp->value)
7285           : b64encode(sub, Ustrlen(sub));
7286 #else
7287         uschar * s = b64encode(sub, Ustrlen(sub));
7288 #endif
7289         yield = string_cat(yield, s);
7290         continue;
7291         }
7292
7293       case EOP_BASE64D:
7294         {
7295         uschar * s;
7296         int len = b64decode(sub, &s);
7297         if (len < 0)
7298           {
7299           expand_string_message = string_sprintf("string \"%s\" is not "
7300             "well-formed for \"%s\" operator", sub, name);
7301           goto EXPAND_FAILED;
7302           }
7303         yield = string_cat(yield, s);
7304         continue;
7305         }
7306
7307       /* strlen returns the length of the string */
7308
7309       case EOP_STRLEN:
7310         {
7311         uschar buff[24];
7312         (void)sprintf(CS buff, "%d", Ustrlen(sub));
7313         yield = string_cat(yield, buff);
7314         continue;
7315         }
7316
7317       /* length_n or l_n takes just the first n characters or the whole string,
7318       whichever is the shorter;
7319
7320       substr_m_n, and s_m_n take n characters from offset m; negative m take
7321       from the end; l_n is synonymous with s_0_n. If n is omitted in substr it
7322       takes the rest, either to the right or to the left.
7323
7324       hash_n or h_n makes a hash of length n from the string, yielding n
7325       characters from the set a-z; hash_n_m makes a hash of length n, but
7326       uses m characters from the set a-zA-Z0-9.
7327
7328       nhash_n returns a single number between 0 and n-1 (in text form), while
7329       nhash_n_m returns a div/mod hash as two numbers "a/b". The first lies
7330       between 0 and n-1 and the second between 0 and m-1. */
7331
7332       case EOP_LENGTH:
7333       case EOP_L:
7334       case EOP_SUBSTR:
7335       case EOP_S:
7336       case EOP_HASH:
7337       case EOP_H:
7338       case EOP_NHASH:
7339       case EOP_NH:
7340         {
7341         int sign = 1;
7342         int value1 = 0;
7343         int value2 = -1;
7344         int *pn;
7345         int len;
7346         uschar *ret;
7347
7348         if (arg == NULL)
7349           {
7350           expand_string_message = string_sprintf("missing values after %s",
7351             name);
7352           goto EXPAND_FAILED;
7353           }
7354
7355         /* "length" has only one argument, effectively being synonymous with
7356         substr_0_n. */
7357
7358         if (c == EOP_LENGTH || c == EOP_L)
7359           {
7360           pn = &value2;
7361           value2 = 0;
7362           }
7363
7364         /* The others have one or two arguments; for "substr" the first may be
7365         negative. The second being negative means "not supplied". */
7366
7367         else
7368           {
7369           pn = &value1;
7370           if (name[0] == 's' && *arg == '-') { sign = -1; arg++; }
7371           }
7372
7373         /* Read up to two numbers, separated by underscores */
7374
7375         ret = arg;
7376         while (*arg != 0)
7377           {
7378           if (arg != ret && *arg == '_' && pn == &value1)
7379             {
7380             pn = &value2;
7381             value2 = 0;
7382             if (arg[1] != 0) arg++;
7383             }
7384           else if (!isdigit(*arg))
7385             {
7386             expand_string_message =
7387               string_sprintf("non-digit after underscore in \"%s\"", name);
7388             goto EXPAND_FAILED;
7389             }
7390           else *pn = (*pn)*10 + *arg++ - '0';
7391           }
7392         value1 *= sign;
7393
7394         /* Perform the required operation */
7395
7396         ret =
7397           (c == EOP_HASH || c == EOP_H)?
7398              compute_hash(sub, value1, value2, &len) :
7399           (c == EOP_NHASH || c == EOP_NH)?
7400              compute_nhash(sub, value1, value2, &len) :
7401              extract_substr(sub, value1, value2, &len);
7402
7403         if (ret == NULL) goto EXPAND_FAILED;
7404         yield = string_catn(yield, ret, len);
7405         continue;
7406         }
7407
7408       /* Stat a path */
7409
7410       case EOP_STAT:
7411         {
7412         uschar *s;
7413         uschar smode[12];
7414         uschar **modetable[3];
7415         int i;
7416         mode_t mode;
7417         struct stat st;
7418
7419         if ((expand_forbid & RDO_EXISTS) != 0)
7420           {
7421           expand_string_message = US"Use of the stat() expansion is not permitted";
7422           goto EXPAND_FAILED;
7423           }
7424
7425         if (stat(CS sub, &st) < 0)
7426           {
7427           expand_string_message = string_sprintf("stat(%s) failed: %s",
7428             sub, strerror(errno));
7429           goto EXPAND_FAILED;
7430           }
7431         mode = st.st_mode;
7432         switch (mode & S_IFMT)
7433           {
7434           case S_IFIFO: smode[0] = 'p'; break;
7435           case S_IFCHR: smode[0] = 'c'; break;
7436           case S_IFDIR: smode[0] = 'd'; break;
7437           case S_IFBLK: smode[0] = 'b'; break;
7438           case S_IFREG: smode[0] = '-'; break;
7439           default: smode[0] = '?'; break;
7440           }
7441
7442         modetable[0] = ((mode & 01000) == 0)? mtable_normal : mtable_sticky;
7443         modetable[1] = ((mode & 02000) == 0)? mtable_normal : mtable_setid;
7444         modetable[2] = ((mode & 04000) == 0)? mtable_normal : mtable_setid;
7445
7446         for (i = 0; i < 3; i++)
7447           {
7448           memcpy(CS(smode + 7 - i*3), CS(modetable[i][mode & 7]), 3);
7449           mode >>= 3;
7450           }
7451
7452         smode[10] = 0;
7453         s = string_sprintf("mode=%04lo smode=%s inode=%ld device=%ld links=%ld "
7454           "uid=%ld gid=%ld size=" OFF_T_FMT " atime=%ld mtime=%ld ctime=%ld",
7455           (long)(st.st_mode & 077777), smode, (long)st.st_ino,
7456           (long)st.st_dev, (long)st.st_nlink, (long)st.st_uid,
7457           (long)st.st_gid, st.st_size, (long)st.st_atime,
7458           (long)st.st_mtime, (long)st.st_ctime);
7459         yield = string_cat(yield, s);
7460         continue;
7461         }
7462
7463       /* vaguely random number less than N */
7464
7465       case EOP_RANDINT:
7466         {
7467         int_eximarith_t max;
7468         uschar *s;
7469
7470         max = expanded_string_integer(sub, TRUE);
7471         if (expand_string_message != NULL)
7472           goto EXPAND_FAILED;
7473         s = string_sprintf("%d", vaguely_random_number((int)max));
7474         yield = string_cat(yield, s);
7475         continue;
7476         }
7477
7478       /* Reverse IP, including IPv6 to dotted-nibble */
7479
7480       case EOP_REVERSE_IP:
7481         {
7482         int family, maskptr;
7483         uschar reversed[128];
7484
7485         family = string_is_ip_address(sub, &maskptr);
7486         if (family == 0)
7487           {
7488           expand_string_message = string_sprintf(
7489               "reverse_ip() not given an IP address [%s]", sub);
7490           goto EXPAND_FAILED;
7491           }
7492         invert_address(reversed, sub);
7493         yield = string_cat(yield, reversed);
7494         continue;
7495         }
7496
7497       /* Unknown operator */
7498
7499       default:
7500       expand_string_message =
7501         string_sprintf("unknown expansion operator \"%s\"", name);
7502       goto EXPAND_FAILED;
7503       }
7504     }
7505
7506   /* Handle a plain name. If this is the first thing in the expansion, release
7507   the pre-allocated buffer. If the result data is known to be in a new buffer,
7508   newsize will be set to the size of that buffer, and we can just point at that
7509   store instead of copying. Many expansion strings contain just one reference,
7510   so this is a useful optimization, especially for humungous headers
7511   ($message_headers). */
7512                                                 /*{*/
7513   if (*s++ == '}')
7514     {
7515     int len;
7516     int newsize = 0;
7517     gstring * g = NULL;
7518
7519     if (!yield)
7520       g = store_get(sizeof(gstring));
7521     else if (yield->ptr == 0)
7522       {
7523       if (resetok) store_reset(yield);
7524       yield = NULL;
7525       g = store_get(sizeof(gstring));   /* alloc _before_ calling find_variable() */
7526       }
7527     if (!(value = find_variable(name, FALSE, skipping, &newsize)))
7528       {
7529       expand_string_message =
7530         string_sprintf("unknown variable in \"${%s}\"", name);
7531       check_variable_error_message(name);
7532       goto EXPAND_FAILED;
7533       }
7534     len = Ustrlen(value);
7535     if (!yield && newsize)
7536       {
7537       yield = g;
7538       yield->size = newsize;
7539       yield->ptr = len;
7540       yield->s = value;
7541       }
7542     else
7543       yield = string_catn(yield, value, len);
7544     continue;
7545     }
7546
7547   /* Else there's something wrong */
7548
7549   expand_string_message =
7550     string_sprintf("\"${%s\" is not a known operator (or a } is missing "
7551     "in a variable reference)", name);
7552   goto EXPAND_FAILED;
7553   }
7554
7555 /* If we hit the end of the string when ket_ends is set, there is a missing
7556 terminating brace. */
7557
7558 if (ket_ends && *s == 0)
7559   {
7560   expand_string_message = malformed_header
7561     ? US"missing } at end of string - could be header name not terminated by colon"
7562     : US"missing } at end of string";
7563   goto EXPAND_FAILED;
7564   }
7565
7566 /* Expansion succeeded; yield may still be NULL here if nothing was actually
7567 added to the string. If so, set up an empty string. Add a terminating zero. If
7568 left != NULL, return a pointer to the terminator. */
7569
7570 if (!yield)
7571   yield = string_get(1);
7572 (void) string_from_gstring(yield);
7573 if (left) *left = s;
7574
7575 /* Any stacking store that was used above the final string is no longer needed.
7576 In many cases the final string will be the first one that was got and so there
7577 will be optimal store usage. */
7578
7579 if (resetok) store_reset(yield->s + (yield->size = yield->ptr + 1));
7580 else if (resetok_p) *resetok_p = FALSE;
7581
7582 DEBUG(D_expand)
7583   {
7584   debug_printf_indent(UTF8_VERT_RIGHT UTF8_HORIZ UTF8_HORIZ
7585     "expanding: %.*s\n",
7586     (int)(s - string), string);
7587   debug_printf_indent("%s"
7588     UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ
7589     "result: %s\n",
7590     skipping ? UTF8_VERT_RIGHT : UTF8_UP_RIGHT,
7591     yield->s);
7592   if (skipping)
7593     debug_printf_indent(UTF8_UP_RIGHT UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ
7594       "skipping: result is not used\n");
7595   }
7596 expand_level--;
7597 return yield->s;
7598
7599 /* This is the failure exit: easiest to program with a goto. We still need
7600 to update the pointer to the terminator, for cases of nested calls with "fail".
7601 */
7602
7603 EXPAND_FAILED_CURLY:
7604 if (malformed_header)
7605   expand_string_message =
7606     US"missing or misplaced { or } - could be header name not terminated by colon";
7607
7608 else if (!expand_string_message || !*expand_string_message)
7609   expand_string_message = US"missing or misplaced { or }";
7610
7611 /* At one point, Exim reset the store to yield (if yield was not NULL), but
7612 that is a bad idea, because expand_string_message is in dynamic store. */
7613
7614 EXPAND_FAILED:
7615 if (left) *left = s;
7616 DEBUG(D_expand)
7617   {
7618   debug_printf_indent(UTF8_VERT_RIGHT "failed to expand: %s\n",
7619     string);
7620   debug_printf_indent("%s" UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ
7621     "error message: %s\n",
7622     expand_string_forcedfail ? UTF8_VERT_RIGHT : UTF8_UP_RIGHT,
7623     expand_string_message);
7624   if (expand_string_forcedfail)
7625     debug_printf_indent(UTF8_UP_RIGHT "failure was forced\n");
7626   }
7627 if (resetok_p && !resetok) *resetok_p = FALSE;
7628 expand_level--;
7629 return NULL;
7630 }
7631
7632
7633 /* This is the external function call. Do a quick check for any expansion
7634 metacharacters, and if there are none, just return the input string.
7635
7636 Argument: the string to be expanded
7637 Returns:  the expanded string, or NULL if expansion failed; if failure was
7638           due to a lookup deferring, search_find_defer will be TRUE
7639 */
7640
7641 const uschar *
7642 expand_cstring(const uschar * string)
7643 {
7644 if (Ustrpbrk(string, "$\\") != NULL)
7645   {
7646   int old_pool = store_pool;
7647   uschar * s;
7648
7649   search_find_defer = FALSE;
7650   malformed_header = FALSE;
7651   store_pool = POOL_MAIN;
7652     s = expand_string_internal(string, FALSE, NULL, FALSE, TRUE, NULL);
7653   store_pool = old_pool;
7654   return s;
7655   }
7656 return string;
7657 }
7658
7659
7660 uschar *
7661 expand_string(uschar * string)
7662 {
7663 return US expand_cstring(CUS string);
7664 }
7665
7666
7667
7668
7669
7670 /*************************************************
7671 *              Expand and copy                   *
7672 *************************************************/
7673
7674 /* Now and again we want to expand a string and be sure that the result is in a
7675 new bit of store. This function does that.
7676 Since we know it has been copied, the de-const cast is safe.
7677
7678 Argument: the string to be expanded
7679 Returns:  the expanded string, always in a new bit of store, or NULL
7680 */
7681
7682 uschar *
7683 expand_string_copy(const uschar *string)
7684 {
7685 const uschar *yield = expand_cstring(string);
7686 if (yield == string) yield = string_copy(string);
7687 return US yield;
7688 }
7689
7690
7691
7692 /*************************************************
7693 *        Expand and interpret as an integer      *
7694 *************************************************/
7695
7696 /* Expand a string, and convert the result into an integer.
7697
7698 Arguments:
7699   string  the string to be expanded
7700   isplus  TRUE if a non-negative number is expected
7701
7702 Returns:  the integer value, or
7703           -1 for an expansion error               ) in both cases, message in
7704           -2 for an integer interpretation error  ) expand_string_message
7705           expand_string_message is set NULL for an OK integer
7706 */
7707
7708 int_eximarith_t
7709 expand_string_integer(uschar *string, BOOL isplus)
7710 {
7711 return expanded_string_integer(expand_string(string), isplus);
7712 }
7713
7714
7715 /*************************************************
7716  *         Interpret string as an integer        *
7717  *************************************************/
7718
7719 /* Convert a string (that has already been expanded) into an integer.
7720
7721 This function is used inside the expansion code.
7722
7723 Arguments:
7724   s       the string to be expanded
7725   isplus  TRUE if a non-negative number is expected
7726
7727 Returns:  the integer value, or
7728           -1 if string is NULL (which implies an expansion error)
7729           -2 for an integer interpretation error
7730           expand_string_message is set NULL for an OK integer
7731 */
7732
7733 static int_eximarith_t
7734 expanded_string_integer(const uschar *s, BOOL isplus)
7735 {
7736 int_eximarith_t value;
7737 uschar *msg = US"invalid integer \"%s\"";
7738 uschar *endptr;
7739
7740 /* If expansion failed, expand_string_message will be set. */
7741
7742 if (s == NULL) return -1;
7743
7744 /* On an overflow, strtol() returns LONG_MAX or LONG_MIN, and sets errno
7745 to ERANGE. When there isn't an overflow, errno is not changed, at least on some
7746 systems, so we set it zero ourselves. */
7747
7748 errno = 0;
7749 expand_string_message = NULL;               /* Indicates no error */
7750
7751 /* Before Exim 4.64, strings consisting entirely of whitespace compared
7752 equal to 0.  Unfortunately, people actually relied upon that, so preserve
7753 the behaviour explicitly.  Stripping leading whitespace is a harmless
7754 noop change since strtol skips it anyway (provided that there is a number
7755 to find at all). */
7756 if (isspace(*s))
7757   {
7758   while (isspace(*s)) ++s;
7759   if (*s == '\0')
7760     {
7761       DEBUG(D_expand)
7762        debug_printf_indent("treating blank string as number 0\n");
7763       return 0;
7764     }
7765   }
7766
7767 value = strtoll(CS s, CSS &endptr, 10);
7768
7769 if (endptr == s)
7770   {
7771   msg = US"integer expected but \"%s\" found";
7772   }
7773 else if (value < 0 && isplus)
7774   {
7775   msg = US"non-negative integer expected but \"%s\" found";
7776   }
7777 else
7778   {
7779   switch (tolower(*endptr))
7780     {
7781     default:
7782       break;
7783     case 'k':
7784       if (value > EXIM_ARITH_MAX/1024 || value < EXIM_ARITH_MIN/1024) errno = ERANGE;
7785       else value *= 1024;
7786       endptr++;
7787       break;
7788     case 'm':
7789       if (value > EXIM_ARITH_MAX/(1024*1024) || value < EXIM_ARITH_MIN/(1024*1024)) errno = ERANGE;
7790       else value *= 1024*1024;
7791       endptr++;
7792       break;
7793     case 'g':
7794       if (value > EXIM_ARITH_MAX/(1024*1024*1024) || value < EXIM_ARITH_MIN/(1024*1024*1024)) errno = ERANGE;
7795       else value *= 1024*1024*1024;
7796       endptr++;
7797       break;
7798     }
7799   if (errno == ERANGE)
7800     msg = US"absolute value of integer \"%s\" is too large (overflow)";
7801   else
7802     {
7803     while (isspace(*endptr)) endptr++;
7804     if (*endptr == 0) return value;
7805     }
7806   }
7807
7808 expand_string_message = string_sprintf(CS msg, s);
7809 return -2;
7810 }
7811
7812
7813 /* These values are usually fixed boolean values, but they are permitted to be
7814 expanded strings.
7815
7816 Arguments:
7817   addr       address being routed
7818   mtype      the module type
7819   mname      the module name
7820   dbg_opt    debug selectors
7821   oname      the option name
7822   bvalue     the router's boolean value
7823   svalue     the router's string value
7824   rvalue     where to put the returned value
7825
7826 Returns:     OK     value placed in rvalue
7827              DEFER  expansion failed
7828 */
7829
7830 int
7831 exp_bool(address_item *addr,
7832   uschar *mtype, uschar *mname, unsigned dbg_opt,
7833   uschar *oname, BOOL bvalue,
7834   uschar *svalue, BOOL *rvalue)
7835 {
7836 uschar *expanded;
7837 if (svalue == NULL) { *rvalue = bvalue; return OK; }
7838
7839 expanded = expand_string(svalue);
7840 if (expanded == NULL)
7841   {
7842   if (expand_string_forcedfail)
7843     {
7844     DEBUG(dbg_opt) debug_printf("expansion of \"%s\" forced failure\n", oname);
7845     *rvalue = bvalue;
7846     return OK;
7847     }
7848   addr->message = string_sprintf("failed to expand \"%s\" in %s %s: %s",
7849       oname, mname, mtype, expand_string_message);
7850   DEBUG(dbg_opt) debug_printf("%s\n", addr->message);
7851   return DEFER;
7852   }
7853
7854 DEBUG(dbg_opt) debug_printf("expansion of \"%s\" yields \"%s\"\n", oname,
7855   expanded);
7856
7857 if (strcmpic(expanded, US"true") == 0 || strcmpic(expanded, US"yes") == 0)
7858   *rvalue = TRUE;
7859 else if (strcmpic(expanded, US"false") == 0 || strcmpic(expanded, US"no") == 0)
7860   *rvalue = FALSE;
7861 else
7862   {
7863   addr->message = string_sprintf("\"%s\" is not a valid value for the "
7864     "\"%s\" option in the %s %s", expanded, oname, mname, mtype);
7865   return DEFER;
7866   }
7867
7868 return OK;
7869 }
7870
7871
7872
7873 /* Avoid potentially exposing a password in a string about to be logged */
7874
7875 uschar *
7876 expand_hide_passwords(uschar * s)
7877 {
7878 return (  (  Ustrstr(s, "failed to expand") != NULL
7879           || Ustrstr(s, "expansion of ")    != NULL
7880           )
7881        && (  Ustrstr(s, "mysql")   != NULL
7882           || Ustrstr(s, "pgsql")   != NULL
7883           || Ustrstr(s, "redis")   != NULL
7884           || Ustrstr(s, "sqlite")  != NULL
7885           || Ustrstr(s, "ldap:")   != NULL
7886           || Ustrstr(s, "ldaps:")  != NULL
7887           || Ustrstr(s, "ldapi:")  != NULL
7888           || Ustrstr(s, "ldapdn:") != NULL
7889           || Ustrstr(s, "ldapm:")  != NULL
7890        )  )
7891   ? US"Temporary internal error" : s;
7892 }
7893
7894
7895 /* Read given named file into big_buffer.  Use for keying material etc.
7896 The content will have an ascii NUL appended.
7897
7898 Arguments:
7899  filename       as it says
7900
7901 Return:  pointer to buffer, or NULL on error.
7902 */
7903
7904 uschar *
7905 expand_file_big_buffer(const uschar * filename)
7906 {
7907 int fd, off = 0, len;
7908
7909 if ((fd = open(CS filename, O_RDONLY)) < 0)
7910   {
7911   log_write(0, LOG_MAIN | LOG_PANIC, "unable to open file for reading: %s",
7912              filename);
7913   return NULL;
7914   }
7915
7916 do
7917   {
7918   if ((len = read(fd, big_buffer + off, big_buffer_size - 2 - off)) < 0)
7919     {
7920     (void) close(fd);
7921     log_write(0, LOG_MAIN|LOG_PANIC, "unable to read file: %s", filename);
7922     return NULL;
7923     }
7924   off += len;
7925   }
7926 while (len > 0);
7927
7928 (void) close(fd);
7929 big_buffer[off] = '\0';
7930 return big_buffer;
7931 }
7932
7933
7934
7935 /*************************************************
7936 * Error-checking for testsuite                   *
7937 *************************************************/
7938 typedef struct {
7939   uschar *      region_start;
7940   uschar *      region_end;
7941   const uschar *var_name;
7942   const uschar *var_data;
7943 } err_ctx;
7944
7945 static void
7946 assert_variable_notin(uschar * var_name, uschar * var_data, void * ctx)
7947 {
7948 err_ctx * e = ctx;
7949 if (var_data >= e->region_start  &&  var_data < e->region_end)
7950   {
7951   e->var_name = CUS var_name;
7952   e->var_data = CUS var_data;
7953   }
7954 }
7955
7956 void
7957 assert_no_variables(void * ptr, int len, const char * filename, int linenumber)
7958 {
7959 err_ctx e = { .region_start = ptr, .region_end = US ptr + len,
7960               .var_name = NULL, .var_data = NULL };
7961 int i;
7962 var_entry * v;
7963
7964 /* check acl_ variables */
7965 tree_walk(acl_var_c, assert_variable_notin, &e);
7966 tree_walk(acl_var_m, assert_variable_notin, &e);
7967
7968 /* check auth<n> variables */
7969 for (i = 0; i < AUTH_VARS; i++) if (auth_vars[i])
7970   assert_variable_notin(US"auth<n>", auth_vars[i], &e);
7971
7972 /* check regex<n> variables */
7973 for (i = 0; i < REGEX_VARS; i++) if (regex_vars[i])
7974   assert_variable_notin(US"regex<n>", regex_vars[i], &e);
7975
7976 /* check known-name variables */
7977 for (v = var_table; v < var_table + var_table_size; v++)
7978   if (v->type == vtype_stringptr)
7979     assert_variable_notin(US v->name, *(USS v->value), &e);
7980
7981 /* check dns and address trees */
7982 tree_walk(tree_dns_fails,     assert_variable_notin, &e);
7983 tree_walk(tree_duplicates,    assert_variable_notin, &e);
7984 tree_walk(tree_nonrecipients, assert_variable_notin, &e);
7985 tree_walk(tree_unusable,      assert_variable_notin, &e);
7986
7987 if (e.var_name)
7988   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
7989     "live variable '%s' destroyed by reset_store at %s:%d\n- value '%.64s'",
7990     e.var_name, filename, linenumber, e.var_data);
7991 }
7992
7993
7994
7995 /*************************************************
7996 **************************************************
7997 *             Stand-alone test program           *
7998 **************************************************
7999 *************************************************/
8000
8001 #ifdef STAND_ALONE
8002
8003
8004 BOOL
8005 regex_match_and_setup(const pcre *re, uschar *subject, int options, int setup)
8006 {
8007 int ovector[3*(EXPAND_MAXN+1)];
8008 int n = pcre_exec(re, NULL, subject, Ustrlen(subject), 0, PCRE_EOPT|options,
8009   ovector, nelem(ovector));
8010 BOOL yield = n >= 0;
8011 if (n == 0) n = EXPAND_MAXN + 1;
8012 if (yield)
8013   {
8014   int nn;
8015   expand_nmax = (setup < 0)? 0 : setup + 1;
8016   for (nn = (setup < 0)? 0 : 2; nn < n*2; nn += 2)
8017     {
8018     expand_nstring[expand_nmax] = subject + ovector[nn];
8019     expand_nlength[expand_nmax++] = ovector[nn+1] - ovector[nn];
8020     }
8021   expand_nmax--;
8022   }
8023 return yield;
8024 }
8025
8026
8027 int main(int argc, uschar **argv)
8028 {
8029 int i;
8030 uschar buffer[1024];
8031
8032 debug_selector = D_v;
8033 debug_file = stderr;
8034 debug_fd = fileno(debug_file);
8035 big_buffer = malloc(big_buffer_size);
8036
8037 for (i = 1; i < argc; i++)
8038   {
8039   if (argv[i][0] == '+')
8040     {
8041     debug_trace_memory = 2;
8042     argv[i]++;
8043     }
8044   if (isdigit(argv[i][0]))
8045     debug_selector = Ustrtol(argv[i], NULL, 0);
8046   else
8047     if (Ustrspn(argv[i], "abcdefghijklmnopqrtsuvwxyz0123456789-.:/") ==
8048         Ustrlen(argv[i]))
8049       {
8050 #ifdef LOOKUP_LDAP
8051       eldap_default_servers = argv[i];
8052 #endif
8053 #ifdef LOOKUP_MYSQL
8054       mysql_servers = argv[i];
8055 #endif
8056 #ifdef LOOKUP_PGSQL
8057       pgsql_servers = argv[i];
8058 #endif
8059 #ifdef LOOKUP_REDIS
8060       redis_servers = argv[i];
8061 #endif
8062       }
8063 #ifdef EXIM_PERL
8064   else opt_perl_startup = argv[i];
8065 #endif
8066   }
8067
8068 printf("Testing string expansion: debug_level = %d\n\n", debug_level);
8069
8070 expand_nstring[1] = US"string 1....";
8071 expand_nlength[1] = 8;
8072 expand_nmax = 1;
8073
8074 #ifdef EXIM_PERL
8075 if (opt_perl_startup != NULL)
8076   {
8077   uschar *errstr;
8078   printf("Starting Perl interpreter\n");
8079   errstr = init_perl(opt_perl_startup);
8080   if (errstr != NULL)
8081     {
8082     printf("** error in perl_startup code: %s\n", errstr);
8083     return EXIT_FAILURE;
8084     }
8085   }
8086 #endif /* EXIM_PERL */
8087
8088 while (fgets(buffer, sizeof(buffer), stdin) != NULL)
8089   {
8090   void *reset_point = store_get(0);
8091   uschar *yield = expand_string(buffer);
8092   if (yield != NULL)
8093     {
8094     printf("%s\n", yield);
8095     store_reset(reset_point);
8096     }
8097   else
8098     {
8099     if (search_find_defer) printf("search_find deferred\n");
8100     printf("Failed: %s\n", expand_string_message);
8101     if (expand_string_forcedfail) printf("Forced failure\n");
8102     printf("\n");
8103     }
8104   }
8105
8106 search_tidyup();
8107
8108 return 0;
8109 }
8110
8111 #endif
8112
8113 /* vi: aw ai sw=2
8114 */
8115 /* End of expand.c */