src/src/expand.c

   1 /*************************************************
   2 *     Exim - an Internet mail transport agent    *
   3 *************************************************/
   4
   5 /* Copyright (c) University of Cambridge 1995 - 2018 */
   6 /* See the file NOTICE for conditions of use and distribution. */
   7
   8
   9 /* Functions for handling string expansion. */
  10
  11
  12 #include "exim.h"
  13
  14 /* Recursively called function */
  15
  16 static uschar *expand_string_internal(const uschar *, BOOL, const uschar **, BOOL, BOOL, BOOL *);
  17 static int_eximarith_t expanded_string_integer(const uschar *, BOOL);
  18
  19 #ifdef STAND_ALONE
  20 # ifndef SUPPORT_CRYPTEQ
  21 #  define SUPPORT_CRYPTEQ
  22 # endif
  23 #endif
  24
  25 #ifdef LOOKUP_LDAP
  26 # include "lookups/ldap.h"
  27 #endif
  28
  29 #ifdef SUPPORT_CRYPTEQ
  30 # ifdef CRYPT_H
  31 #  include <crypt.h>
  32 # endif
  33 # ifndef HAVE_CRYPT16
  34 extern char* crypt16(char*, char*);
  35 # endif
  36 #endif
  37
  38 /* The handling of crypt16() is a mess. I will record below the analysis of the
  39 mess that was sent to me. We decided, however, to make changing this very low
  40 priority, because in practice people are moving away from the crypt()
  41 algorithms nowadays, so it doesn't seem worth it.
  42
  43 <quote>
  44 There is an algorithm named "crypt16" in Ultrix and Tru64.  It crypts
  45 the first 8 characters of the password using a 20-round version of crypt
  46 (standard crypt does 25 rounds).  It then crypts the next 8 characters,
  47 or an empty block if the password is less than 9 characters, using a
  48 20-round version of crypt and the same salt as was used for the first
  49 block.  Characters after the first 16 are ignored.  It always generates
  50 a 16-byte hash, which is expressed together with the salt as a string
  51 of 24 base 64 digits.  Here are some links to peruse:
  52
  53         http://cvs.pld.org.pl/pam/pamcrypt/crypt16.c?rev=1.2
  54         http://seclists.org/bugtraq/1999/Mar/0076.html
  55
  56 There's a different algorithm named "bigcrypt" in HP-UX, Digital Unix,
  57 and OSF/1.  This is the same as the standard crypt if given a password
  58 of 8 characters or less.  If given more, it first does the same as crypt
  59 using the first 8 characters, then crypts the next 8 (the 9th to 16th)
  60 using as salt the first two base 64 digits from the first hash block.
  61 If the password is more than 16 characters then it crypts the 17th to 24th
  62 characters using as salt the first two base 64 digits from the second hash
  63 block.  And so on: I've seen references to it cutting off the password at
  64 40 characters (5 blocks), 80 (10 blocks), or 128 (16 blocks).  Some links:
  65
  66         http://cvs.pld.org.pl/pam/pamcrypt/bigcrypt.c?rev=1.2
  67         http://seclists.org/bugtraq/1999/Mar/0109.html
  68         http://h30097.www3.hp.com/docs/base_doc/DOCUMENTATION/HTML/AA-Q0R2D-
  69              TET1_html/sec.c222.html#no_id_208
  70
  71 Exim has something it calls "crypt16".  It will either use a native
  72 crypt16 or its own implementation.  A native crypt16 will presumably
  73 be the one that I called "crypt16" above.  The internal "crypt16"
  74 function, however, is a two-block-maximum implementation of what I called
  75 "bigcrypt".  The documentation matches the internal code.
  76
  77 I suspect that whoever did the "crypt16" stuff for Exim didn't realise
  78 that crypt16 and bigcrypt were different things.
  79
  80 Exim uses the LDAP-style scheme identifier "{crypt16}" to refer
  81 to whatever it is using under that name.  This unfortunately sets a
  82 precedent for using "{crypt16}" to identify two incompatible algorithms
  83 whose output can't be distinguished.  With "{crypt16}" thus rendered
  84 ambiguous, I suggest you deprecate it and invent two new identifiers
  85 for the two algorithms.
  86
  87 Both crypt16 and bigcrypt are very poor algorithms, btw.  Hashing parts
  88 of the password separately means they can be cracked separately, so
  89 the double-length hash only doubles the cracking effort instead of
  90 squaring it.  I recommend salted SHA-1 ({SSHA}), or the Blowfish-based
  91 bcrypt ({CRYPT}$2a$).
  92 </quote>
  93 */
  94
  95
  96
  97 /*************************************************
  98 *            Local statics and tables            *
  99 *************************************************/
 100
 101 /* Table of item names, and corresponding switch numbers. The names must be in
 102 alphabetical order. */
 103
 104 static uschar *item_table[] = {
 105   US"acl",
 106   US"authresults",
 107   US"certextract",
 108   US"dlfunc",
 109   US"env",
 110   US"extract",
 111   US"filter",
 112   US"hash",
 113   US"hmac",
 114   US"if",
 115 #ifdef SUPPORT_I18N
 116   US"imapfolder",
 117 #endif
 118   US"length",
 119   US"listextract",
 120   US"lookup",
 121   US"map",
 122   US"nhash",
 123   US"perl",
 124   US"prvs",
 125   US"prvscheck",
 126   US"readfile",
 127   US"readsocket",
 128   US"reduce",
 129   US"run",
 130   US"sg",
 131   US"sort",
 132 #ifdef EXPERIMENTAL_SRS_NATIVE
 133   US"srs_encode",
 134 #endif
 135   US"substr",
 136   US"tr" };
 137
 138 enum {
 139   EITEM_ACL,
 140   EITEM_AUTHRESULTS,
 141   EITEM_CERTEXTRACT,
 142   EITEM_DLFUNC,
 143   EITEM_ENV,
 144   EITEM_EXTRACT,
 145   EITEM_FILTER,
 146   EITEM_HASH,
 147   EITEM_HMAC,
 148   EITEM_IF,
 149 #ifdef SUPPORT_I18N
 150   EITEM_IMAPFOLDER,
 151 #endif
 152   EITEM_LENGTH,
 153   EITEM_LISTEXTRACT,
 154   EITEM_LOOKUP,
 155   EITEM_MAP,
 156   EITEM_NHASH,
 157   EITEM_PERL,
 158   EITEM_PRVS,
 159   EITEM_PRVSCHECK,
 160   EITEM_READFILE,
 161   EITEM_READSOCK,
 162   EITEM_REDUCE,
 163   EITEM_RUN,
 164   EITEM_SG,
 165   EITEM_SORT,
 166 #ifdef EXPERIMENTAL_SRS_NATIVE
 167   EITEM_SRS_ENCODE,
 168 #endif
 169   EITEM_SUBSTR,
 170   EITEM_TR };
 171
 172 /* Tables of operator names, and corresponding switch numbers. The names must be
 173 in alphabetical order. There are two tables, because underscore is used in some
 174 cases to introduce arguments, whereas for other it is part of the name. This is
 175 an historical mis-design. */
 176
 177 static uschar *op_table_underscore[] = {
 178   US"from_utf8",
 179   US"local_part",
 180   US"quote_local_part",
 181   US"reverse_ip",
 182   US"time_eval",
 183   US"time_interval"
 184 #ifdef SUPPORT_I18N
 185  ,US"utf8_domain_from_alabel",
 186   US"utf8_domain_to_alabel",
 187   US"utf8_localpart_from_alabel",
 188   US"utf8_localpart_to_alabel"
 189 #endif
 190   };
 191
 192 enum {
 193   EOP_FROM_UTF8,
 194   EOP_LOCAL_PART,
 195   EOP_QUOTE_LOCAL_PART,
 196   EOP_REVERSE_IP,
 197   EOP_TIME_EVAL,
 198   EOP_TIME_INTERVAL
 199 #ifdef SUPPORT_I18N
 200  ,EOP_UTF8_DOMAIN_FROM_ALABEL,
 201   EOP_UTF8_DOMAIN_TO_ALABEL,
 202   EOP_UTF8_LOCALPART_FROM_ALABEL,
 203   EOP_UTF8_LOCALPART_TO_ALABEL
 204 #endif
 205   };
 206
 207 static uschar *op_table_main[] = {
 208   US"address",
 209   US"addresses",
 210   US"base32",
 211   US"base32d",
 212   US"base62",
 213   US"base62d",
 214   US"base64",
 215   US"base64d",
 216   US"domain",
 217   US"escape",
 218   US"escape8bit",
 219   US"eval",
 220   US"eval10",
 221   US"expand",
 222   US"h",
 223   US"hash",
 224   US"hex2b64",
 225   US"hexquote",
 226   US"ipv6denorm",
 227   US"ipv6norm",
 228   US"l",
 229   US"lc",
 230   US"length",
 231   US"listcount",
 232   US"listnamed",
 233   US"mask",
 234   US"md5",
 235   US"nh",
 236   US"nhash",
 237   US"quote",
 238   US"randint",
 239   US"rfc2047",
 240   US"rfc2047d",
 241   US"rxquote",
 242   US"s",
 243   US"sha1",
 244   US"sha2",
 245   US"sha256",
 246   US"sha3",
 247   US"stat",
 248   US"str2b64",
 249   US"strlen",
 250   US"substr",
 251   US"uc",
 252   US"utf8clean" };
 253
 254 enum {
 255   EOP_ADDRESS =  nelem(op_table_underscore),
 256   EOP_ADDRESSES,
 257   EOP_BASE32,
 258   EOP_BASE32D,
 259   EOP_BASE62,
 260   EOP_BASE62D,
 261   EOP_BASE64,
 262   EOP_BASE64D,
 263   EOP_DOMAIN,
 264   EOP_ESCAPE,
 265   EOP_ESCAPE8BIT,
 266   EOP_EVAL,
 267   EOP_EVAL10,
 268   EOP_EXPAND,
 269   EOP_H,
 270   EOP_HASH,
 271   EOP_HEX2B64,
 272   EOP_HEXQUOTE,
 273   EOP_IPV6DENORM,
 274   EOP_IPV6NORM,
 275   EOP_L,
 276   EOP_LC,
 277   EOP_LENGTH,
 278   EOP_LISTCOUNT,
 279   EOP_LISTNAMED,
 280   EOP_MASK,
 281   EOP_MD5,
 282   EOP_NH,
 283   EOP_NHASH,
 284   EOP_QUOTE,
 285   EOP_RANDINT,
 286   EOP_RFC2047,
 287   EOP_RFC2047D,
 288   EOP_RXQUOTE,
 289   EOP_S,
 290   EOP_SHA1,
 291   EOP_SHA2,
 292   EOP_SHA256,
 293   EOP_SHA3,
 294   EOP_STAT,
 295   EOP_STR2B64,
 296   EOP_STRLEN,
 297   EOP_SUBSTR,
 298   EOP_UC,
 299   EOP_UTF8CLEAN };
 300
 301
 302 /* Table of condition names, and corresponding switch numbers. The names must
 303 be in alphabetical order. */
 304
 305 static uschar *cond_table[] = {
 306   US"<",
 307   US"<=",
 308   US"=",
 309   US"==",     /* Backward compatibility */
 310   US">",
 311   US">=",
 312   US"acl",
 313   US"and",
 314   US"bool",
 315   US"bool_lax",
 316   US"crypteq",
 317   US"def",
 318   US"eq",
 319   US"eqi",
 320   US"exists",
 321   US"first_delivery",
 322   US"forall",
 323   US"forall_json",
 324   US"forall_jsons",
 325   US"forany",
 326   US"forany_json",
 327   US"forany_jsons",
 328   US"ge",
 329   US"gei",
 330   US"gt",
 331   US"gti",
 332 #ifdef EXPERIMENTAL_SRS_NATIVE
 333   US"inbound_srs",
 334 #endif
 335   US"inlist",
 336   US"inlisti",
 337   US"isip",
 338   US"isip4",
 339   US"isip6",
 340   US"ldapauth",
 341   US"le",
 342   US"lei",
 343   US"lt",
 344   US"lti",
 345   US"match",
 346   US"match_address",
 347   US"match_domain",
 348   US"match_ip",
 349   US"match_local_part",
 350   US"or",
 351   US"pam",
 352   US"pwcheck",
 353   US"queue_running",
 354   US"radius",
 355   US"saslauthd"
 356 };
 357
 358 enum {
 359   ECOND_NUM_L,
 360   ECOND_NUM_LE,
 361   ECOND_NUM_E,
 362   ECOND_NUM_EE,
 363   ECOND_NUM_G,
 364   ECOND_NUM_GE,
 365   ECOND_ACL,
 366   ECOND_AND,
 367   ECOND_BOOL,
 368   ECOND_BOOL_LAX,
 369   ECOND_CRYPTEQ,
 370   ECOND_DEF,
 371   ECOND_STR_EQ,
 372   ECOND_STR_EQI,
 373   ECOND_EXISTS,
 374   ECOND_FIRST_DELIVERY,
 375   ECOND_FORALL,
 376   ECOND_FORALL_JSON,
 377   ECOND_FORALL_JSONS,
 378   ECOND_FORANY,
 379   ECOND_FORANY_JSON,
 380   ECOND_FORANY_JSONS,
 381   ECOND_STR_GE,
 382   ECOND_STR_GEI,
 383   ECOND_STR_GT,
 384   ECOND_STR_GTI,
 385 #ifdef EXPERIMENTAL_SRS_NATIVE
 386   ECOND_INBOUND_SRS,
 387 #endif
 388   ECOND_INLIST,
 389   ECOND_INLISTI,
 390   ECOND_ISIP,
 391   ECOND_ISIP4,
 392   ECOND_ISIP6,
 393   ECOND_LDAPAUTH,
 394   ECOND_STR_LE,
 395   ECOND_STR_LEI,
 396   ECOND_STR_LT,
 397   ECOND_STR_LTI,
 398   ECOND_MATCH,
 399   ECOND_MATCH_ADDRESS,
 400   ECOND_MATCH_DOMAIN,
 401   ECOND_MATCH_IP,
 402   ECOND_MATCH_LOCAL_PART,
 403   ECOND_OR,
 404   ECOND_PAM,
 405   ECOND_PWCHECK,
 406   ECOND_QUEUE_RUNNING,
 407   ECOND_RADIUS,
 408   ECOND_SASLAUTHD
 409 };
 410
 411
 412 /* Types of table entry */
 413
 414 enum vtypes {
 415   vtype_int,            /* value is address of int */
 416   vtype_filter_int,     /* ditto, but recognized only when filtering */
 417   vtype_ino,            /* value is address of ino_t (not always an int) */
 418   vtype_uid,            /* value is address of uid_t (not always an int) */
 419   vtype_gid,            /* value is address of gid_t (not always an int) */
 420   vtype_bool,           /* value is address of bool */
 421   vtype_stringptr,      /* value is address of pointer to string */
 422   vtype_msgbody,        /* as stringptr, but read when first required */
 423   vtype_msgbody_end,    /* ditto, the end of the message */
 424   vtype_msgheaders,     /* the message's headers, processed */
 425   vtype_msgheaders_raw, /* the message's headers, unprocessed */
 426   vtype_localpart,      /* extract local part from string */
 427   vtype_domain,         /* extract domain from string */
 428   vtype_string_func,    /* value is string returned by given function */
 429   vtype_todbsdin,       /* value not used; generate BSD inbox tod */
 430   vtype_tode,           /* value not used; generate tod in epoch format */
 431   vtype_todel,          /* value not used; generate tod in epoch/usec format */
 432   vtype_todf,           /* value not used; generate full tod */
 433   vtype_todl,           /* value not used; generate log tod */
 434   vtype_todlf,          /* value not used; generate log file datestamp tod */
 435   vtype_todzone,        /* value not used; generate time zone only */
 436   vtype_todzulu,        /* value not used; generate zulu tod */
 437   vtype_reply,          /* value not used; get reply from headers */
 438   vtype_pid,            /* value not used; result is pid */
 439   vtype_host_lookup,    /* value not used; get host name */
 440   vtype_load_avg,       /* value not used; result is int from os_getloadavg */
 441   vtype_pspace,         /* partition space; value is T/F for spool/log */
 442   vtype_pinodes,        /* partition inodes; value is T/F for spool/log */
 443   vtype_cert            /* SSL certificate */
 444   #ifndef DISABLE_DKIM
 445   ,vtype_dkim           /* Lookup of value in DKIM signature */
 446   #endif
 447 };
 448
 449 /* Type for main variable table */
 450
 451 typedef struct {
 452   const char *name;
 453   enum vtypes type;
 454   void       *value;
 455 } var_entry;
 456
 457 /* Type for entries pointing to address/length pairs. Not currently
 458 in use. */
 459
 460 typedef struct {
 461   uschar **address;
 462   int  *length;
 463 } alblock;
 464
 465 static uschar * fn_recipients(void);
 466 typedef uschar * stringptr_fn_t(void);
 467
 468 /* This table must be kept in alphabetical order. */
 469
 470 static var_entry var_table[] = {
 471   /* WARNING: Do not invent variables whose names start acl_c or acl_m because
 472      they will be confused with user-creatable ACL variables. */
 473   { "acl_arg1",            vtype_stringptr,   &acl_arg[0] },
 474   { "acl_arg2",            vtype_stringptr,   &acl_arg[1] },
 475   { "acl_arg3",            vtype_stringptr,   &acl_arg[2] },
 476   { "acl_arg4",            vtype_stringptr,   &acl_arg[3] },
 477   { "acl_arg5",            vtype_stringptr,   &acl_arg[4] },
 478   { "acl_arg6",            vtype_stringptr,   &acl_arg[5] },
 479   { "acl_arg7",            vtype_stringptr,   &acl_arg[6] },
 480   { "acl_arg8",            vtype_stringptr,   &acl_arg[7] },
 481   { "acl_arg9",            vtype_stringptr,   &acl_arg[8] },
 482   { "acl_narg",            vtype_int,         &acl_narg },
 483   { "acl_verify_message",  vtype_stringptr,   &acl_verify_message },
 484   { "address_data",        vtype_stringptr,   &deliver_address_data },
 485   { "address_file",        vtype_stringptr,   &address_file },
 486   { "address_pipe",        vtype_stringptr,   &address_pipe },
 487 #ifdef EXPERIMENTAL_ARC
 488   { "arc_domains",         vtype_string_func, (void *) &fn_arc_domains },
 489   { "arc_oldest_pass",     vtype_int,         &arc_oldest_pass },
 490   { "arc_state",           vtype_stringptr,   &arc_state },
 491   { "arc_state_reason",    vtype_stringptr,   &arc_state_reason },
 492 #endif
 493   { "authenticated_fail_id",vtype_stringptr,  &authenticated_fail_id },
 494   { "authenticated_id",    vtype_stringptr,   &authenticated_id },
 495   { "authenticated_sender",vtype_stringptr,   &authenticated_sender },
 496   { "authentication_failed",vtype_int,        &authentication_failed },
 497 #ifdef WITH_CONTENT_SCAN
 498   { "av_failed",           vtype_int,         &av_failed },
 499 #endif
 500 #ifdef EXPERIMENTAL_BRIGHTMAIL
 501   { "bmi_alt_location",    vtype_stringptr,   &bmi_alt_location },
 502   { "bmi_base64_tracker_verdict", vtype_stringptr, &bmi_base64_tracker_verdict },
 503   { "bmi_base64_verdict",  vtype_stringptr,   &bmi_base64_verdict },
 504   { "bmi_deliver",         vtype_int,         &bmi_deliver },
 505 #endif
 506   { "body_linecount",      vtype_int,         &body_linecount },
 507   { "body_zerocount",      vtype_int,         &body_zerocount },
 508   { "bounce_recipient",    vtype_stringptr,   &bounce_recipient },
 509   { "bounce_return_size_limit", vtype_int,    &bounce_return_size_limit },
 510   { "caller_gid",          vtype_gid,         &real_gid },
 511   { "caller_uid",          vtype_uid,         &real_uid },
 512   { "callout_address",     vtype_stringptr,   &callout_address },
 513   { "compile_date",        vtype_stringptr,   &version_date },
 514   { "compile_number",      vtype_stringptr,   &version_cnumber },
 515   { "config_dir",          vtype_stringptr,   &config_main_directory },
 516   { "config_file",         vtype_stringptr,   &config_main_filename },
 517   { "csa_status",          vtype_stringptr,   &csa_status },
 518 #ifdef EXPERIMENTAL_DCC
 519   { "dcc_header",          vtype_stringptr,   &dcc_header },
 520   { "dcc_result",          vtype_stringptr,   &dcc_result },
 521 #endif
 522 #ifndef DISABLE_DKIM
 523   { "dkim_algo",           vtype_dkim,        (void *)DKIM_ALGO },
 524   { "dkim_bodylength",     vtype_dkim,        (void *)DKIM_BODYLENGTH },
 525   { "dkim_canon_body",     vtype_dkim,        (void *)DKIM_CANON_BODY },
 526   { "dkim_canon_headers",  vtype_dkim,        (void *)DKIM_CANON_HEADERS },
 527   { "dkim_copiedheaders",  vtype_dkim,        (void *)DKIM_COPIEDHEADERS },
 528   { "dkim_created",        vtype_dkim,        (void *)DKIM_CREATED },
 529   { "dkim_cur_signer",     vtype_stringptr,   &dkim_cur_signer },
 530   { "dkim_domain",         vtype_stringptr,   &dkim_signing_domain },
 531   { "dkim_expires",        vtype_dkim,        (void *)DKIM_EXPIRES },
 532   { "dkim_headernames",    vtype_dkim,        (void *)DKIM_HEADERNAMES },
 533   { "dkim_identity",       vtype_dkim,        (void *)DKIM_IDENTITY },
 534   { "dkim_key_granularity",vtype_dkim,        (void *)DKIM_KEY_GRANULARITY },
 535   { "dkim_key_length",     vtype_int,         &dkim_key_length },
 536   { "dkim_key_nosubdomains",vtype_dkim,       (void *)DKIM_NOSUBDOMAINS },
 537   { "dkim_key_notes",      vtype_dkim,        (void *)DKIM_KEY_NOTES },
 538   { "dkim_key_srvtype",    vtype_dkim,        (void *)DKIM_KEY_SRVTYPE },
 539   { "dkim_key_testing",    vtype_dkim,        (void *)DKIM_KEY_TESTING },
 540   { "dkim_selector",       vtype_stringptr,   &dkim_signing_selector },
 541   { "dkim_signers",        vtype_stringptr,   &dkim_signers },
 542   { "dkim_verify_reason",  vtype_stringptr,   &dkim_verify_reason },
 543   { "dkim_verify_status",  vtype_stringptr,   &dkim_verify_status },
 544 #endif
 545 #ifdef SUPPORT_DMARC
 546   { "dmarc_domain_policy", vtype_stringptr,   &dmarc_domain_policy },
 547   { "dmarc_status",        vtype_stringptr,   &dmarc_status },
 548   { "dmarc_status_text",   vtype_stringptr,   &dmarc_status_text },
 549   { "dmarc_used_domain",   vtype_stringptr,   &dmarc_used_domain },
 550 #endif
 551   { "dnslist_domain",      vtype_stringptr,   &dnslist_domain },
 552   { "dnslist_matched",     vtype_stringptr,   &dnslist_matched },
 553   { "dnslist_text",        vtype_stringptr,   &dnslist_text },
 554   { "dnslist_value",       vtype_stringptr,   &dnslist_value },
 555   { "domain",              vtype_stringptr,   &deliver_domain },
 556   { "domain_data",         vtype_stringptr,   &deliver_domain_data },
 557 #ifndef DISABLE_EVENT
 558   { "event_data",          vtype_stringptr,   &event_data },
 559
 560   /*XXX want to use generic vars for as many of these as possible*/
 561   { "event_defer_errno",   vtype_int,         &event_defer_errno },
 562
 563   { "event_name",          vtype_stringptr,   &event_name },
 564 #endif
 565   { "exim_gid",            vtype_gid,         &exim_gid },
 566   { "exim_path",           vtype_stringptr,   &exim_path },
 567   { "exim_uid",            vtype_uid,         &exim_uid },
 568   { "exim_version",        vtype_stringptr,   &version_string },
 569   { "headers_added",       vtype_string_func, (void *) &fn_hdrs_added },
 570   { "home",                vtype_stringptr,   &deliver_home },
 571   { "host",                vtype_stringptr,   &deliver_host },
 572   { "host_address",        vtype_stringptr,   &deliver_host_address },
 573   { "host_data",           vtype_stringptr,   &host_data },
 574   { "host_lookup_deferred",vtype_int,         &host_lookup_deferred },
 575   { "host_lookup_failed",  vtype_int,         &host_lookup_failed },
 576   { "host_port",           vtype_int,         &deliver_host_port },
 577   { "initial_cwd",         vtype_stringptr,   &initial_cwd },
 578   { "inode",               vtype_ino,         &deliver_inode },
 579   { "interface_address",   vtype_stringptr,   &interface_address },
 580   { "interface_port",      vtype_int,         &interface_port },
 581   { "item",                vtype_stringptr,   &iterate_item },
 582   #ifdef LOOKUP_LDAP
 583   { "ldap_dn",             vtype_stringptr,   &eldap_dn },
 584   #endif
 585   { "load_average",        vtype_load_avg,    NULL },
 586   { "local_part",          vtype_stringptr,   &deliver_localpart },
 587   { "local_part_data",     vtype_stringptr,   &deliver_localpart_data },
 588   { "local_part_prefix",   vtype_stringptr,   &deliver_localpart_prefix },
 589   { "local_part_suffix",   vtype_stringptr,   &deliver_localpart_suffix },
 590 #ifdef HAVE_LOCAL_SCAN
 591   { "local_scan_data",     vtype_stringptr,   &local_scan_data },
 592 #endif
 593   { "local_user_gid",      vtype_gid,         &local_user_gid },
 594   { "local_user_uid",      vtype_uid,         &local_user_uid },
 595   { "localhost_number",    vtype_int,         &host_number },
 596   { "log_inodes",          vtype_pinodes,     (void *)FALSE },
 597   { "log_space",           vtype_pspace,      (void *)FALSE },
 598   { "lookup_dnssec_authenticated",vtype_stringptr,&lookup_dnssec_authenticated},
 599   { "mailstore_basename",  vtype_stringptr,   &mailstore_basename },
 600 #ifdef WITH_CONTENT_SCAN
 601   { "malware_name",        vtype_stringptr,   &malware_name },
 602 #endif
 603   { "max_received_linelength", vtype_int,     &max_received_linelength },
 604   { "message_age",         vtype_int,         &message_age },
 605   { "message_body",        vtype_msgbody,     &message_body },
 606   { "message_body_end",    vtype_msgbody_end, &message_body_end },
 607   { "message_body_size",   vtype_int,         &message_body_size },
 608   { "message_exim_id",     vtype_stringptr,   &message_id },
 609   { "message_headers",     vtype_msgheaders,  NULL },
 610   { "message_headers_raw", vtype_msgheaders_raw, NULL },
 611   { "message_id",          vtype_stringptr,   &message_id },
 612   { "message_linecount",   vtype_int,         &message_linecount },
 613   { "message_size",        vtype_int,         &message_size },
 614 #ifdef SUPPORT_I18N
 615   { "message_smtputf8",    vtype_bool,        &message_smtputf8 },
 616 #endif
 617 #ifdef WITH_CONTENT_SCAN
 618   { "mime_anomaly_level",  vtype_int,         &mime_anomaly_level },
 619   { "mime_anomaly_text",   vtype_stringptr,   &mime_anomaly_text },
 620   { "mime_boundary",       vtype_stringptr,   &mime_boundary },
 621   { "mime_charset",        vtype_stringptr,   &mime_charset },
 622   { "mime_content_description", vtype_stringptr, &mime_content_description },
 623   { "mime_content_disposition", vtype_stringptr, &mime_content_disposition },
 624   { "mime_content_id",     vtype_stringptr,   &mime_content_id },
 625   { "mime_content_size",   vtype_int,         &mime_content_size },
 626   { "mime_content_transfer_encoding",vtype_stringptr, &mime_content_transfer_encoding },
 627   { "mime_content_type",   vtype_stringptr,   &mime_content_type },
 628   { "mime_decoded_filename", vtype_stringptr, &mime_decoded_filename },
 629   { "mime_filename",       vtype_stringptr,   &mime_filename },
 630   { "mime_is_coverletter", vtype_int,         &mime_is_coverletter },
 631   { "mime_is_multipart",   vtype_int,         &mime_is_multipart },
 632   { "mime_is_rfc822",      vtype_int,         &mime_is_rfc822 },
 633   { "mime_part_count",     vtype_int,         &mime_part_count },
 634 #endif
 635   { "n0",                  vtype_filter_int,  &filter_n[0] },
 636   { "n1",                  vtype_filter_int,  &filter_n[1] },
 637   { "n2",                  vtype_filter_int,  &filter_n[2] },
 638   { "n3",                  vtype_filter_int,  &filter_n[3] },
 639   { "n4",                  vtype_filter_int,  &filter_n[4] },
 640   { "n5",                  vtype_filter_int,  &filter_n[5] },
 641   { "n6",                  vtype_filter_int,  &filter_n[6] },
 642   { "n7",                  vtype_filter_int,  &filter_n[7] },
 643   { "n8",                  vtype_filter_int,  &filter_n[8] },
 644   { "n9",                  vtype_filter_int,  &filter_n[9] },
 645   { "original_domain",     vtype_stringptr,   &deliver_domain_orig },
 646   { "original_local_part", vtype_stringptr,   &deliver_localpart_orig },
 647   { "originator_gid",      vtype_gid,         &originator_gid },
 648   { "originator_uid",      vtype_uid,         &originator_uid },
 649   { "parent_domain",       vtype_stringptr,   &deliver_domain_parent },
 650   { "parent_local_part",   vtype_stringptr,   &deliver_localpart_parent },
 651   { "pid",                 vtype_pid,         NULL },
 652 #ifndef DISABLE_PRDR
 653   { "prdr_requested",      vtype_bool,        &prdr_requested },
 654 #endif
 655   { "primary_hostname",    vtype_stringptr,   &primary_hostname },
 656 #if defined(SUPPORT_PROXY) || defined(SUPPORT_SOCKS)
 657   { "proxy_external_address",vtype_stringptr, &proxy_external_address },
 658   { "proxy_external_port", vtype_int,         &proxy_external_port },
 659   { "proxy_local_address", vtype_stringptr,   &proxy_local_address },
 660   { "proxy_local_port",    vtype_int,         &proxy_local_port },
 661   { "proxy_session",       vtype_bool,        &proxy_session },
 662 #endif
 663   { "prvscheck_address",   vtype_stringptr,   &prvscheck_address },
 664   { "prvscheck_keynum",    vtype_stringptr,   &prvscheck_keynum },
 665   { "prvscheck_result",    vtype_stringptr,   &prvscheck_result },
 666   { "qualify_domain",      vtype_stringptr,   &qualify_domain_sender },
 667   { "qualify_recipient",   vtype_stringptr,   &qualify_domain_recipient },
 668   { "queue_name",          vtype_stringptr,   &queue_name },
 669   { "rcpt_count",          vtype_int,         &rcpt_count },
 670   { "rcpt_defer_count",    vtype_int,         &rcpt_defer_count },
 671   { "rcpt_fail_count",     vtype_int,         &rcpt_fail_count },
 672   { "received_count",      vtype_int,         &received_count },
 673   { "received_for",        vtype_stringptr,   &received_for },
 674   { "received_ip_address", vtype_stringptr,   &interface_address },
 675   { "received_port",       vtype_int,         &interface_port },
 676   { "received_protocol",   vtype_stringptr,   &received_protocol },
 677   { "received_time",       vtype_int,         &received_time.tv_sec },
 678   { "recipient_data",      vtype_stringptr,   &recipient_data },
 679   { "recipient_verify_failure",vtype_stringptr,&recipient_verify_failure },
 680   { "recipients",          vtype_string_func, (void *) &fn_recipients },
 681   { "recipients_count",    vtype_int,         &recipients_count },
 682 #ifdef WITH_CONTENT_SCAN
 683   { "regex_match_string",  vtype_stringptr,   &regex_match_string },
 684 #endif
 685   { "reply_address",       vtype_reply,       NULL },
 686   { "return_path",         vtype_stringptr,   &return_path },
 687   { "return_size_limit",   vtype_int,         &bounce_return_size_limit },
 688   { "router_name",         vtype_stringptr,   &router_name },
 689   { "runrc",               vtype_int,         &runrc },
 690   { "self_hostname",       vtype_stringptr,   &self_hostname },
 691   { "sender_address",      vtype_stringptr,   &sender_address },
 692   { "sender_address_data", vtype_stringptr,   &sender_address_data },
 693   { "sender_address_domain", vtype_domain,    &sender_address },
 694   { "sender_address_local_part", vtype_localpart, &sender_address },
 695   { "sender_data",         vtype_stringptr,   &sender_data },
 696   { "sender_fullhost",     vtype_stringptr,   &sender_fullhost },
 697   { "sender_helo_dnssec",  vtype_bool,        &sender_helo_dnssec },
 698   { "sender_helo_name",    vtype_stringptr,   &sender_helo_name },
 699   { "sender_host_address", vtype_stringptr,   &sender_host_address },
 700   { "sender_host_authenticated",vtype_stringptr, &sender_host_authenticated },
 701   { "sender_host_dnssec",  vtype_bool,        &sender_host_dnssec },
 702   { "sender_host_name",    vtype_host_lookup, NULL },
 703   { "sender_host_port",    vtype_int,         &sender_host_port },
 704   { "sender_ident",        vtype_stringptr,   &sender_ident },
 705   { "sender_rate",         vtype_stringptr,   &sender_rate },
 706   { "sender_rate_limit",   vtype_stringptr,   &sender_rate_limit },
 707   { "sender_rate_period",  vtype_stringptr,   &sender_rate_period },
 708   { "sender_rcvhost",      vtype_stringptr,   &sender_rcvhost },
 709   { "sender_verify_failure",vtype_stringptr,  &sender_verify_failure },
 710   { "sending_ip_address",  vtype_stringptr,   &sending_ip_address },
 711   { "sending_port",        vtype_int,         &sending_port },
 712   { "smtp_active_hostname", vtype_stringptr,  &smtp_active_hostname },
 713   { "smtp_command",        vtype_stringptr,   &smtp_cmd_buffer },
 714   { "smtp_command_argument", vtype_stringptr, &smtp_cmd_argument },
 715   { "smtp_command_history", vtype_string_func, (void *) &smtp_cmd_hist },
 716   { "smtp_count_at_connection_start", vtype_int, &smtp_accept_count },
 717   { "smtp_notquit_reason", vtype_stringptr,   &smtp_notquit_reason },
 718   { "sn0",                 vtype_filter_int,  &filter_sn[0] },
 719   { "sn1",                 vtype_filter_int,  &filter_sn[1] },
 720   { "sn2",                 vtype_filter_int,  &filter_sn[2] },
 721   { "sn3",                 vtype_filter_int,  &filter_sn[3] },
 722   { "sn4",                 vtype_filter_int,  &filter_sn[4] },
 723   { "sn5",                 vtype_filter_int,  &filter_sn[5] },
 724   { "sn6",                 vtype_filter_int,  &filter_sn[6] },
 725   { "sn7",                 vtype_filter_int,  &filter_sn[7] },
 726   { "sn8",                 vtype_filter_int,  &filter_sn[8] },
 727   { "sn9",                 vtype_filter_int,  &filter_sn[9] },
 728 #ifdef WITH_CONTENT_SCAN
 729   { "spam_action",         vtype_stringptr,   &spam_action },
 730   { "spam_bar",            vtype_stringptr,   &spam_bar },
 731   { "spam_report",         vtype_stringptr,   &spam_report },
 732   { "spam_score",          vtype_stringptr,   &spam_score },
 733   { "spam_score_int",      vtype_stringptr,   &spam_score_int },
 734 #endif
 735 #ifdef SUPPORT_SPF
 736   { "spf_guess",           vtype_stringptr,   &spf_guess },
 737   { "spf_header_comment",  vtype_stringptr,   &spf_header_comment },
 738   { "spf_received",        vtype_stringptr,   &spf_received },
 739   { "spf_result",          vtype_stringptr,   &spf_result },
 740   { "spf_result_guessed",  vtype_bool,        &spf_result_guessed },
 741   { "spf_smtp_comment",    vtype_stringptr,   &spf_smtp_comment },
 742 #endif
 743   { "spool_directory",     vtype_stringptr,   &spool_directory },
 744   { "spool_inodes",        vtype_pinodes,     (void *)TRUE },
 745   { "spool_space",         vtype_pspace,      (void *)TRUE },
 746 #ifdef EXPERIMENTAL_SRS
 747   { "srs_db_address",      vtype_stringptr,   &srs_db_address },
 748   { "srs_db_key",          vtype_stringptr,   &srs_db_key },
 749   { "srs_orig_recipient",  vtype_stringptr,   &srs_orig_recipient },
 750   { "srs_orig_sender",     vtype_stringptr,   &srs_orig_sender },
 751 #endif
 752 #if defined(EXPERIMENTAL_SRS) || defined(EXPERIMENTAL_SRS_NATIVE)
 753   { "srs_recipient",       vtype_stringptr,   &srs_recipient },
 754 #endif
 755 #ifdef EXPERIMENTAL_SRS
 756   { "srs_status",          vtype_stringptr,   &srs_status },
 757 #endif
 758   { "thisaddress",         vtype_stringptr,   &filter_thisaddress },
 759
 760   /* The non-(in,out) variables are now deprecated */
 761   { "tls_bits",            vtype_int,         &tls_in.bits },
 762   { "tls_certificate_verified", vtype_int,    &tls_in.certificate_verified },
 763   { "tls_cipher",          vtype_stringptr,   &tls_in.cipher },
 764
 765   { "tls_in_bits",         vtype_int,         &tls_in.bits },
 766   { "tls_in_certificate_verified", vtype_int, &tls_in.certificate_verified },
 767   { "tls_in_cipher",       vtype_stringptr,   &tls_in.cipher },
 768   { "tls_in_cipher_std",   vtype_stringptr,   &tls_in.cipher_stdname },
 769   { "tls_in_ocsp",         vtype_int,         &tls_in.ocsp },
 770   { "tls_in_ourcert",      vtype_cert,        &tls_in.ourcert },
 771   { "tls_in_peercert",     vtype_cert,        &tls_in.peercert },
 772   { "tls_in_peerdn",       vtype_stringptr,   &tls_in.peerdn },
 773 #ifdef EXPERIMENTAL_TLS_RESUME
 774   { "tls_in_resumption",   vtype_int,         &tls_in.resumption },
 775 #endif
 776 #ifndef DISABLE_TLS
 777   { "tls_in_sni",          vtype_stringptr,   &tls_in.sni },
 778 #endif
 779   { "tls_out_bits",        vtype_int,         &tls_out.bits },
 780   { "tls_out_certificate_verified", vtype_int,&tls_out.certificate_verified },
 781   { "tls_out_cipher",      vtype_stringptr,   &tls_out.cipher },
 782   { "tls_out_cipher_std",  vtype_stringptr,   &tls_out.cipher_stdname },
 783 #ifdef SUPPORT_DANE
 784   { "tls_out_dane",        vtype_bool,        &tls_out.dane_verified },
 785 #endif
 786   { "tls_out_ocsp",        vtype_int,         &tls_out.ocsp },
 787   { "tls_out_ourcert",     vtype_cert,        &tls_out.ourcert },
 788   { "tls_out_peercert",    vtype_cert,        &tls_out.peercert },
 789   { "tls_out_peerdn",      vtype_stringptr,   &tls_out.peerdn },
 790 #ifdef EXPERIMENTAL_TLS_RESUME
 791   { "tls_out_resumption",  vtype_int,         &tls_out.resumption },
 792 #endif
 793 #ifndef DISABLE_TLS
 794   { "tls_out_sni",         vtype_stringptr,   &tls_out.sni },
 795 #endif
 796 #ifdef SUPPORT_DANE
 797   { "tls_out_tlsa_usage",  vtype_int,         &tls_out.tlsa_usage },
 798 #endif
 799
 800   { "tls_peerdn",          vtype_stringptr,   &tls_in.peerdn }, /* mind the alphabetical order! */
 801 #ifndef DISABLE_TLS
 802   { "tls_sni",             vtype_stringptr,   &tls_in.sni },    /* mind the alphabetical order! */
 803 #endif
 804
 805   { "tod_bsdinbox",        vtype_todbsdin,    NULL },
 806   { "tod_epoch",           vtype_tode,        NULL },
 807   { "tod_epoch_l",         vtype_todel,       NULL },
 808   { "tod_full",            vtype_todf,        NULL },
 809   { "tod_log",             vtype_todl,        NULL },
 810   { "tod_logfile",         vtype_todlf,       NULL },
 811   { "tod_zone",            vtype_todzone,     NULL },
 812   { "tod_zulu",            vtype_todzulu,     NULL },
 813   { "transport_name",      vtype_stringptr,   &transport_name },
 814   { "value",               vtype_stringptr,   &lookup_value },
 815   { "verify_mode",         vtype_stringptr,   &verify_mode },
 816   { "version_number",      vtype_stringptr,   &version_string },
 817   { "warn_message_delay",  vtype_stringptr,   &warnmsg_delay },
 818   { "warn_message_recipient",vtype_stringptr, &warnmsg_recipients },
 819   { "warn_message_recipients",vtype_stringptr,&warnmsg_recipients },
 820   { "warnmsg_delay",       vtype_stringptr,   &warnmsg_delay },
 821   { "warnmsg_recipient",   vtype_stringptr,   &warnmsg_recipients },
 822   { "warnmsg_recipients",  vtype_stringptr,   &warnmsg_recipients }
 823 };
 824
 825 static int var_table_size = nelem(var_table);
 826 static uschar var_buffer[256];
 827 static BOOL malformed_header;
 828
 829 /* For textual hashes */
 830
 831 static const char *hashcodes = "abcdefghijklmnopqrtsuvwxyz"
 832                                "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
 833                                "0123456789";
 834
 835 enum { HMAC_MD5, HMAC_SHA1 };
 836
 837 /* For numeric hashes */
 838
 839 static unsigned int prime[] = {
 840   2,   3,   5,   7,  11,  13,  17,  19,  23,  29,
 841  31,  37,  41,  43,  47,  53,  59,  61,  67,  71,
 842  73,  79,  83,  89,  97, 101, 103, 107, 109, 113};
 843
 844 /* For printing modes in symbolic form */
 845
 846 static uschar *mtable_normal[] =
 847   { US"---", US"--x", US"-w-", US"-wx", US"r--", US"r-x", US"rw-", US"rwx" };
 848
 849 static uschar *mtable_setid[] =
 850   { US"--S", US"--s", US"-wS", US"-ws", US"r-S", US"r-s", US"rwS", US"rws" };
 851
 852 static uschar *mtable_sticky[] =
 853   { US"--T", US"--t", US"-wT", US"-wt", US"r-T", US"r-t", US"rwT", US"rwt" };
 854
 855 /* flags for find_header() */
 856 #define FH_EXISTS_ONLY  BIT(0)
 857 #define FH_WANT_RAW     BIT(1)
 858 #define FH_WANT_LIST    BIT(2)
 859
 860
 861 /*************************************************
 862 *           Tables for UTF-8 support             *
 863 *************************************************/
 864
 865 /* Table of the number of extra characters, indexed by the first character
 866 masked with 0x3f. The highest number for a valid UTF-8 character is in fact
 867 0x3d. */
 868
 869 static uschar utf8_table1[] = {
 870   1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
 871   1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
 872   2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,
 873   3,3,3,3,3,3,3,3,4,4,4,4,5,5,5,5 };
 874
 875 /* These are the masks for the data bits in the first byte of a character,
 876 indexed by the number of additional bytes. */
 877
 878 static int utf8_table2[] = { 0xff, 0x1f, 0x0f, 0x07, 0x03, 0x01};
 879
 880 /* Get the next UTF-8 character, advancing the pointer. */
 881
 882 #define GETUTF8INC(c, ptr) \
 883   c = *ptr++; \
 884   if ((c & 0xc0) == 0xc0) \
 885     { \
 886     int a = utf8_table1[c & 0x3f];  /* Number of additional bytes */ \
 887     int s = 6*a; \
 888     c = (c & utf8_table2[a]) << s; \
 889     while (a-- > 0) \
 890       { \
 891       s -= 6; \
 892       c |= (*ptr++ & 0x3f) << s; \
 893       } \
 894     }
 895
 896
 897
 898 static uschar * base32_chars = US"abcdefghijklmnopqrstuvwxyz234567";
 899
 900 /*************************************************
 901 *           Binary chop search on a table        *
 902 *************************************************/
 903
 904 /* This is used for matching expansion items and operators.
 905
 906 Arguments:
 907   name        the name that is being sought
 908   table       the table to search
 909   table_size  the number of items in the table
 910
 911 Returns:      the offset in the table, or -1
 912 */
 913
 914 static int
 915 chop_match(uschar *name, uschar **table, int table_size)
 916 {
 917 uschar **bot = table;
 918 uschar **top = table + table_size;
 919
 920 while (top > bot)
 921   {
 922   uschar **mid = bot + (top - bot)/2;
 923   int c = Ustrcmp(name, *mid);
 924   if (c == 0) return mid - table;
 925   if (c > 0) bot = mid + 1; else top = mid;
 926   }
 927
 928 return -1;
 929 }
 930
 931
 932
 933 /*************************************************
 934 *          Check a condition string              *
 935 *************************************************/
 936
 937 /* This function is called to expand a string, and test the result for a "true"
 938 or "false" value. Failure of the expansion yields FALSE; logged unless it was a
 939 forced fail or lookup defer.
 940
 941 We used to release all store used, but this is not not safe due
 942 to ${dlfunc } and ${acl }.  In any case expand_string_internal()
 943 is reasonably careful to release what it can.
 944
 945 The actual false-value tests should be replicated for ECOND_BOOL_LAX.
 946
 947 Arguments:
 948   condition     the condition string
 949   m1            text to be incorporated in panic error
 950   m2            ditto
 951
 952 Returns:        TRUE if condition is met, FALSE if not
 953 */
 954
 955 BOOL
 956 expand_check_condition(uschar *condition, uschar *m1, uschar *m2)
 957 {
 958 int rc;
 959 uschar *ss = expand_string(condition);
 960 if (ss == NULL)
 961   {
 962   if (!f.expand_string_forcedfail && !f.search_find_defer)
 963     log_write(0, LOG_MAIN|LOG_PANIC, "failed to expand condition \"%s\" "
 964       "for %s %s: %s", condition, m1, m2, expand_string_message);
 965   return FALSE;
 966   }
 967 rc = ss[0] != 0 && Ustrcmp(ss, "0") != 0 && strcmpic(ss, US"no") != 0 &&
 968   strcmpic(ss, US"false") != 0;
 969 return rc;
 970 }
 971
 972
 973
 974
 975 /*************************************************
 976 *        Pseudo-random number generation         *
 977 *************************************************/
 978
 979 /* Pseudo-random number generation.  The result is not "expected" to be
 980 cryptographically strong but not so weak that someone will shoot themselves
 981 in the foot using it as a nonce in some email header scheme or whatever
 982 weirdness they'll twist this into.  The result should ideally handle fork().
 983
 984 However, if we're stuck unable to provide this, then we'll fall back to
 985 appallingly bad randomness.
 986
 987 If DISABLE_TLS is not defined then this will not be used except as an emergency
 988 fallback.
 989
 990 Arguments:
 991   max       range maximum
 992 Returns     a random number in range [0, max-1]
 993 */
 994
 995 #ifndef DISABLE_TLS
 996 # define vaguely_random_number vaguely_random_number_fallback
 997 #endif
 998 int
 999 vaguely_random_number(int max)
1000 {
1001 #ifndef DISABLE_TLS
1002 # undef vaguely_random_number
1003 #endif
1004 static pid_t pid = 0;
1005 pid_t p2;
1006
1007 if ((p2 = getpid()) != pid)
1008   {
1009   if (pid != 0)
1010     {
1011
1012 #ifdef HAVE_ARC4RANDOM
1013     /* cryptographically strong randomness, common on *BSD platforms, not
1014     so much elsewhere.  Alas. */
1015 # ifndef NOT_HAVE_ARC4RANDOM_STIR
1016     arc4random_stir();
1017 # endif
1018 #elif defined(HAVE_SRANDOM) || defined(HAVE_SRANDOMDEV)
1019 # ifdef HAVE_SRANDOMDEV
1020     /* uses random(4) for seeding */
1021     srandomdev();
1022 # else
1023     {
1024     struct timeval tv;
1025     gettimeofday(&tv, NULL);
1026     srandom(tv.tv_sec | tv.tv_usec | getpid());
1027     }
1028 # endif
1029 #else
1030     /* Poor randomness and no seeding here */
1031 #endif
1032
1033     }
1034   pid = p2;
1035   }
1036
1037 #ifdef HAVE_ARC4RANDOM
1038 return arc4random() % max;
1039 #elif defined(HAVE_SRANDOM) || defined(HAVE_SRANDOMDEV)
1040 return random() % max;
1041 #else
1042 /* This one returns a 16-bit number, definitely not crypto-strong */
1043 return random_number(max);
1044 #endif
1045 }
1046
1047
1048
1049
1050 /*************************************************
1051 *             Pick out a name from a string      *
1052 *************************************************/
1053
1054 /* If the name is too long, it is silently truncated.
1055
1056 Arguments:
1057   name      points to a buffer into which to put the name
1058   max       is the length of the buffer
1059   s         points to the first alphabetic character of the name
1060   extras    chars other than alphanumerics to permit
1061
1062 Returns:    pointer to the first character after the name
1063
1064 Note: The test for *s != 0 in the while loop is necessary because
1065 Ustrchr() yields non-NULL if the character is zero (which is not something
1066 I expected). */
1067
1068 static const uschar *
1069 read_name(uschar *name, int max, const uschar *s, uschar *extras)
1070 {
1071 int ptr = 0;
1072 while (*s != 0 && (isalnum(*s) || Ustrchr(extras, *s) != NULL))
1073   {
1074   if (ptr < max-1) name[ptr++] = *s;
1075   s++;
1076   }
1077 name[ptr] = 0;
1078 return s;
1079 }
1080
1081
1082
1083 /*************************************************
1084 *     Pick out the rest of a header name         *
1085 *************************************************/
1086
1087 /* A variable name starting $header_ (or just $h_ for those who like
1088 abbreviations) might not be the complete header name because headers can
1089 contain any printing characters in their names, except ':'. This function is
1090 called to read the rest of the name, chop h[eader]_ off the front, and put ':'
1091 on the end, if the name was terminated by white space.
1092
1093 Arguments:
1094   name      points to a buffer in which the name read so far exists
1095   max       is the length of the buffer
1096   s         points to the first character after the name so far, i.e. the
1097             first non-alphameric character after $header_xxxxx
1098
1099 Returns:    a pointer to the first character after the header name
1100 */
1101
1102 static const uschar *
1103 read_header_name(uschar *name, int max, const uschar *s)
1104 {
1105 int prelen = Ustrchr(name, '_') - name + 1;
1106 int ptr = Ustrlen(name) - prelen;
1107 if (ptr > 0) memmove(name, name+prelen, ptr);
1108 while (mac_isgraph(*s) && *s != ':')
1109   {
1110   if (ptr < max-1) name[ptr++] = *s;
1111   s++;
1112   }
1113 if (*s == ':') s++;
1114 name[ptr++] = ':';
1115 name[ptr] = 0;
1116 return s;
1117 }
1118
1119
1120
1121 /*************************************************
1122 *           Pick out a number from a string      *
1123 *************************************************/
1124
1125 /* Arguments:
1126   n     points to an integer into which to put the number
1127   s     points to the first digit of the number
1128
1129 Returns:  a pointer to the character after the last digit
1130 */
1131 /*XXX consider expanding to int_eximarith_t.  But the test for
1132 "overbig numbers" in 0002 still needs to overflow it. */
1133
1134 static uschar *
1135 read_number(int *n, uschar *s)
1136 {
1137 *n = 0;
1138 while (isdigit(*s)) *n = *n * 10 + (*s++ - '0');
1139 return s;
1140 }
1141
1142 static const uschar *
1143 read_cnumber(int *n, const uschar *s)
1144 {
1145 *n = 0;
1146 while (isdigit(*s)) *n = *n * 10 + (*s++ - '0');
1147 return s;
1148 }
1149
1150
1151
1152 /*************************************************
1153 *        Extract keyed subfield from a string    *
1154 *************************************************/
1155
1156 /* The yield is in dynamic store; NULL means that the key was not found.
1157
1158 Arguments:
1159   key       points to the name of the key
1160   s         points to the string from which to extract the subfield
1161
1162 Returns:    NULL if the subfield was not found, or
1163             a pointer to the subfield's data
1164 */
1165
1166 static uschar *
1167 expand_getkeyed(uschar * key, const uschar * s)
1168 {
1169 int length = Ustrlen(key);
1170 while (isspace(*s)) s++;
1171
1172 /* Loop to search for the key */
1173
1174 while (*s)
1175   {
1176   int dkeylength;
1177   uschar * data;
1178   const uschar * dkey = s;
1179
1180   while (*s && *s != '=' && !isspace(*s)) s++;
1181   dkeylength = s - dkey;
1182   while (isspace(*s)) s++;
1183   if (*s == '=') while (isspace((*(++s))));
1184
1185   data = string_dequote(&s);
1186   if (length == dkeylength && strncmpic(key, dkey, length) == 0)
1187     return data;
1188
1189   while (isspace(*s)) s++;
1190   }
1191
1192 return NULL;
1193 }
1194
1195
1196
1197 static var_entry *
1198 find_var_ent(uschar * name)
1199 {
1200 int first = 0;
1201 int last = var_table_size;
1202
1203 while (last > first)
1204   {
1205   int middle = (first + last)/2;
1206   int c = Ustrcmp(name, var_table[middle].name);
1207
1208   if (c > 0) { first = middle + 1; continue; }
1209   if (c < 0) { last = middle; continue; }
1210   return &var_table[middle];
1211   }
1212 return NULL;
1213 }
1214
1215 /*************************************************
1216 *   Extract numbered subfield from string        *
1217 *************************************************/
1218
1219 /* Extracts a numbered field from a string that is divided by tokens - for
1220 example a line from /etc/passwd is divided by colon characters.  First field is
1221 numbered one.  Negative arguments count from the right. Zero returns the whole
1222 string. Returns NULL if there are insufficient tokens in the string
1223
1224 ***WARNING***
1225 Modifies final argument - this is a dynamically generated string, so that's OK.
1226
1227 Arguments:
1228   field       number of field to be extracted,
1229                 first field = 1, whole string = 0, last field = -1
1230   separators  characters that are used to break string into tokens
1231   s           points to the string from which to extract the subfield
1232
1233 Returns:      NULL if the field was not found,
1234               a pointer to the field's data inside s (modified to add 0)
1235 */
1236
1237 static uschar *
1238 expand_gettokened (int field, uschar *separators, uschar *s)
1239 {
1240 int sep = 1;
1241 int count;
1242 uschar *ss = s;
1243 uschar *fieldtext = NULL;
1244
1245 if (field == 0) return s;
1246
1247 /* Break the line up into fields in place; for field > 0 we stop when we have
1248 done the number of fields we want. For field < 0 we continue till the end of
1249 the string, counting the number of fields. */
1250
1251 count = (field > 0)? field : INT_MAX;
1252
1253 while (count-- > 0)
1254   {
1255   size_t len;
1256
1257   /* Previous field was the last one in the string. For a positive field
1258   number, this means there are not enough fields. For a negative field number,
1259   check that there are enough, and scan back to find the one that is wanted. */
1260
1261   if (sep == 0)
1262     {
1263     if (field > 0 || (-field) > (INT_MAX - count - 1)) return NULL;
1264     if ((-field) == (INT_MAX - count - 1)) return s;
1265     while (field++ < 0)
1266       {
1267       ss--;
1268       while (ss[-1] != 0) ss--;
1269       }
1270     fieldtext = ss;
1271     break;
1272     }
1273
1274   /* Previous field was not last in the string; save its start and put a
1275   zero at its end. */
1276
1277   fieldtext = ss;
1278   len = Ustrcspn(ss, separators);
1279   sep = ss[len];
1280   ss[len] = 0;
1281   ss += len + 1;
1282   }
1283
1284 return fieldtext;
1285 }
1286
1287
1288 static uschar *
1289 expand_getlistele(int field, const uschar * list)
1290 {
1291 const uschar * tlist = list;
1292 int sep = 0;
1293 uschar dummy;
1294
1295 if (field < 0)
1296   {
1297   for (field++; string_nextinlist(&tlist, &sep, &dummy, 1); ) field++;
1298   sep = 0;
1299   }
1300 if (field == 0) return NULL;
1301 while (--field > 0 && (string_nextinlist(&list, &sep, &dummy, 1))) ;
1302 return string_nextinlist(&list, &sep, NULL, 0);
1303 }
1304
1305
1306 /* Certificate fields, by name.  Worry about by-OID later */
1307 /* Names are chosen to not have common prefixes */
1308
1309 #ifndef DISABLE_TLS
1310 typedef struct
1311 {
1312 uschar * name;
1313 int      namelen;
1314 uschar * (*getfn)(void * cert, uschar * mod);
1315 } certfield;
1316 static certfield certfields[] =
1317 {                       /* linear search; no special order */
1318   { US"version",         7,  &tls_cert_version },
1319   { US"serial_number",   13, &tls_cert_serial_number },
1320   { US"subject",         7,  &tls_cert_subject },
1321   { US"notbefore",       9,  &tls_cert_not_before },
1322   { US"notafter",        8,  &tls_cert_not_after },
1323   { US"issuer",          6,  &tls_cert_issuer },
1324   { US"signature",       9,  &tls_cert_signature },
1325   { US"sig_algorithm",   13, &tls_cert_signature_algorithm },
1326   { US"subj_altname",    12, &tls_cert_subject_altname },
1327   { US"ocsp_uri",        8,  &tls_cert_ocsp_uri },
1328   { US"crl_uri",         7,  &tls_cert_crl_uri },
1329 };
1330
1331 static uschar *
1332 expand_getcertele(uschar * field, uschar * certvar)
1333 {
1334 var_entry * vp;
1335
1336 if (!(vp = find_var_ent(certvar)))
1337   {
1338   expand_string_message =
1339     string_sprintf("no variable named \"%s\"", certvar);
1340   return NULL;          /* Unknown variable name */
1341   }
1342 /* NB this stops us passing certs around in variable.  Might
1343 want to do that in future */
1344 if (vp->type != vtype_cert)
1345   {
1346   expand_string_message =
1347     string_sprintf("\"%s\" is not a certificate", certvar);
1348   return NULL;          /* Unknown variable name */
1349   }
1350 if (!*(void **)vp->value)
1351   return NULL;
1352
1353 if (*field >= '0' && *field <= '9')
1354   return tls_cert_ext_by_oid(*(void **)vp->value, field, 0);
1355
1356 for (certfield * cp = certfields;
1357      cp < certfields + nelem(certfields);
1358      cp++)
1359   if (Ustrncmp(cp->name, field, cp->namelen) == 0)
1360     {
1361     uschar * modifier = *(field += cp->namelen) == ','
1362       ? ++field : NULL;
1363     return (*cp->getfn)( *(void **)vp->value, modifier );
1364     }
1365
1366 expand_string_message =
1367   string_sprintf("bad field selector \"%s\" for certextract", field);
1368 return NULL;
1369 }
1370 #endif  /*DISABLE_TLS*/
1371
1372 /*************************************************
1373 *        Extract a substring from a string       *
1374 *************************************************/
1375
1376 /* Perform the ${substr or ${length expansion operations.
1377
1378 Arguments:
1379   subject     the input string
1380   value1      the offset from the start of the input string to the start of
1381                 the output string; if negative, count from the right.
1382   value2      the length of the output string, or negative (-1) for unset
1383                 if value1 is positive, unset means "all after"
1384                 if value1 is negative, unset means "all before"
1385   len         set to the length of the returned string
1386
1387 Returns:      pointer to the output string, or NULL if there is an error
1388 */
1389
1390 static uschar *
1391 extract_substr(uschar *subject, int value1, int value2, int *len)
1392 {
1393 int sublen = Ustrlen(subject);
1394
1395 if (value1 < 0)    /* count from right */
1396   {
1397   value1 += sublen;
1398
1399   /* If the position is before the start, skip to the start, and adjust the
1400   length. If the length ends up negative, the substring is null because nothing
1401   can precede. This falls out naturally when the length is unset, meaning "all
1402   to the left". */
1403
1404   if (value1 < 0)
1405     {
1406     value2 += value1;
1407     if (value2 < 0) value2 = 0;
1408     value1 = 0;
1409     }
1410
1411   /* Otherwise an unset length => characters before value1 */
1412
1413   else if (value2 < 0)
1414     {
1415     value2 = value1;
1416     value1 = 0;
1417     }
1418   }
1419
1420 /* For a non-negative offset, if the starting position is past the end of the
1421 string, the result will be the null string. Otherwise, an unset length means
1422 "rest"; just set it to the maximum - it will be cut down below if necessary. */
1423
1424 else
1425   {
1426   if (value1 > sublen)
1427     {
1428     value1 = sublen;
1429     value2 = 0;
1430     }
1431   else if (value2 < 0) value2 = sublen;
1432   }
1433
1434 /* Cut the length down to the maximum possible for the offset value, and get
1435 the required characters. */
1436
1437 if (value1 + value2 > sublen) value2 = sublen - value1;
1438 *len = value2;
1439 return subject + value1;
1440 }
1441
1442
1443
1444
1445 /*************************************************
1446 *            Old-style hash of a string          *
1447 *************************************************/
1448
1449 /* Perform the ${hash expansion operation.
1450
1451 Arguments:
1452   subject     the input string (an expanded substring)
1453   value1      the length of the output string; if greater or equal to the
1454                 length of the input string, the input string is returned
1455   value2      the number of hash characters to use, or 26 if negative
1456   len         set to the length of the returned string
1457
1458 Returns:      pointer to the output string, or NULL if there is an error
1459 */
1460
1461 static uschar *
1462 compute_hash(uschar *subject, int value1, int value2, int *len)
1463 {
1464 int sublen = Ustrlen(subject);
1465
1466 if (value2 < 0) value2 = 26;
1467 else if (value2 > Ustrlen(hashcodes))
1468   {
1469   expand_string_message =
1470     string_sprintf("hash count \"%d\" too big", value2);
1471   return NULL;
1472   }
1473
1474 /* Calculate the hash text. We know it is shorter than the original string, so
1475 can safely place it in subject[] (we know that subject is always itself an
1476 expanded substring). */
1477
1478 if (value1 < sublen)
1479   {
1480   int c;
1481   int i = 0;
1482   int j = value1;
1483   while ((c = (subject[j])) != 0)
1484     {
1485     int shift = (c + j++) & 7;
1486     subject[i] ^= (c << shift) | (c >> (8-shift));
1487     if (++i >= value1) i = 0;
1488     }
1489   for (i = 0; i < value1; i++)
1490     subject[i] = hashcodes[(subject[i]) % value2];
1491   }
1492 else value1 = sublen;
1493
1494 *len = value1;
1495 return subject;
1496 }
1497
1498
1499
1500
1501 /*************************************************
1502 *             Numeric hash of a string           *
1503 *************************************************/
1504
1505 /* Perform the ${nhash expansion operation. The first characters of the
1506 string are treated as most important, and get the highest prime numbers.
1507
1508 Arguments:
1509   subject     the input string
1510   value1      the maximum value of the first part of the result
1511   value2      the maximum value of the second part of the result,
1512                 or negative to produce only a one-part result
1513   len         set to the length of the returned string
1514
1515 Returns:  pointer to the output string, or NULL if there is an error.
1516 */
1517
1518 static uschar *
1519 compute_nhash (uschar *subject, int value1, int value2, int *len)
1520 {
1521 uschar *s = subject;
1522 int i = 0;
1523 unsigned long int total = 0; /* no overflow */
1524
1525 while (*s != 0)
1526   {
1527   if (i == 0) i = nelem(prime) - 1;
1528   total += prime[i--] * (unsigned int)(*s++);
1529   }
1530
1531 /* If value2 is unset, just compute one number */
1532
1533 if (value2 < 0)
1534   s = string_sprintf("%lu", total % value1);
1535
1536 /* Otherwise do a div/mod hash */
1537
1538 else
1539   {
1540   total = total % (value1 * value2);
1541   s = string_sprintf("%lu/%lu", total/value2, total % value2);
1542   }
1543
1544 *len = Ustrlen(s);
1545 return s;
1546 }
1547
1548
1549
1550
1551
1552 /*************************************************
1553 *     Find the value of a header or headers      *
1554 *************************************************/
1555
1556 /* Multiple instances of the same header get concatenated, and this function
1557 can also return a concatenation of all the header lines. When concatenating
1558 specific headers that contain lists of addresses, a comma is inserted between
1559 them. Otherwise we use a straight concatenation. Because some messages can have
1560 pathologically large number of lines, there is a limit on the length that is
1561 returned.
1562
1563 Arguments:
1564   name          the name of the header, without the leading $header_ or $h_,
1565                 or NULL if a concatenation of all headers is required
1566   newsize       return the size of memory block that was obtained; may be NULL
1567                 if exists_only is TRUE
1568   flags         FH_EXISTS_ONLY
1569                   set if called from a def: test; don't need to build a string;
1570                   just return a string that is not "" and not "0" if the header
1571                   exists
1572                 FH_WANT_RAW
1573                   set if called for $rh_ or $rheader_ items; no processing,
1574                   other than concatenating, will be done on the header. Also used
1575                   for $message_headers_raw.
1576                 FH_WANT_LIST
1577                   Double colon chars in the content, and replace newline with
1578                   colon between each element when concatenating; returning a
1579                   colon-sep list (elements might contain newlines)
1580   charset       name of charset to translate MIME words to; used only if
1581                 want_raw is false; if NULL, no translation is done (this is
1582                 used for $bh_ and $bheader_)
1583
1584 Returns:        NULL if the header does not exist, else a pointer to a new
1585                 store block
1586 */
1587
1588 static uschar *
1589 find_header(uschar *name, int *newsize, unsigned flags, uschar *charset)
1590 {
1591 BOOL found = !name;
1592 int len = name ? Ustrlen(name) : 0;
1593 BOOL comma = FALSE;
1594 gstring * g = NULL;
1595
1596 for (header_line * h = header_list; h; h = h->next)
1597   if (h->type != htype_old && h->text)  /* NULL => Received: placeholder */
1598     if (!name || (len <= h->slen && strncmpic(name, h->text, len) == 0))
1599       {
1600       uschar * s, * t;
1601       size_t inc;
1602
1603       if (flags & FH_EXISTS_ONLY)
1604         return US"1";  /* don't need actual string */
1605
1606       found = TRUE;
1607       s = h->text + len;                /* text to insert */
1608       if (!(flags & FH_WANT_RAW))       /* unless wanted raw, */
1609         while (isspace(*s)) s++;        /* remove leading white space */
1610       t = h->text + h->slen;            /* end-point */
1611
1612       /* Unless wanted raw, remove trailing whitespace, including the
1613       newline. */
1614
1615       if (flags & FH_WANT_LIST)
1616         while (t > s && t[-1] == '\n') t--;
1617       else if (!(flags & FH_WANT_RAW))
1618         {
1619         while (t > s && isspace(t[-1])) t--;
1620
1621         /* Set comma if handling a single header and it's one of those
1622         that contains an address list, except when asked for raw headers. Only
1623         need to do this once. */
1624
1625         if (name && !comma && Ustrchr("BCFRST", h->type)) comma = TRUE;
1626         }
1627
1628       /* Trim the header roughly if we're approaching limits */
1629       inc = t - s;
1630       if ((g ? g->ptr : 0) + inc > header_insert_maxlen)
1631         inc = header_insert_maxlen - (g ? g->ptr : 0);
1632
1633       /* For raw just copy the data; for a list, add the data as a colon-sep
1634       list-element; for comma-list add as an unchecked comma,newline sep
1635       list-elemment; for other nonraw add as an unchecked newline-sep list (we
1636       stripped trailing WS above including the newline). We ignore the potential
1637       expansion due to colon-doubling, just leaving the loop if the limit is met
1638       or exceeded. */
1639
1640       if (flags & FH_WANT_LIST)
1641         g = string_append_listele_n(g, ':', s, (unsigned)inc);
1642       else if (flags & FH_WANT_RAW)
1643         {
1644         g = string_catn(g, s, (unsigned)inc);
1645         (void) string_from_gstring(g);
1646         }
1647       else if (inc > 0)
1648         if (comma)
1649           g = string_append2_listele_n(g, US",\n", s, (unsigned)inc);
1650         else
1651           g = string_append2_listele_n(g, US"\n", s, (unsigned)inc);
1652
1653       if (g && g->ptr >= header_insert_maxlen) break;
1654       }
1655
1656 if (!found) return NULL;        /* No header found */
1657 if (!g) return US"";
1658
1659 /* That's all we do for raw header expansion. */
1660
1661 *newsize = g->size;
1662 if (flags & FH_WANT_RAW)
1663   return g->s;
1664
1665 /* Otherwise do RFC 2047 decoding, translating the charset if requested.
1666 The rfc2047_decode2() function can return an error with decoded data if the
1667 charset translation fails. If decoding fails, it returns NULL. */
1668
1669 else
1670   {
1671   uschar *decoded, *error;
1672
1673   decoded = rfc2047_decode2(g->s, check_rfc2047_length, charset, '?', NULL,
1674     newsize, &error);
1675   if (error)
1676     {
1677     DEBUG(D_any) debug_printf("*** error in RFC 2047 decoding: %s\n"
1678       "    input was: %s\n", error, g->s);
1679     }
1680   return decoded ? decoded : g->s;
1681   }
1682 }
1683
1684
1685
1686
1687 /* Append a "local" element to an Authentication-Results: header
1688 if this was a non-smtp message.
1689 */
1690
1691 static gstring *
1692 authres_local(gstring * g, const uschar * sysname)
1693 {
1694 if (!f.authentication_local)
1695   return g;
1696 g = string_append(g, 3, US";\n\tlocal=pass (non-smtp, ", sysname, US")");
1697 if (authenticated_id) g = string_append(g, 2, " u=", authenticated_id);
1698 return g;
1699 }
1700
1701
1702 /* Append an "iprev" element to an Authentication-Results: header
1703 if we have attempted to get the calling host's name.
1704 */
1705
1706 static gstring *
1707 authres_iprev(gstring * g)
1708 {
1709 if (sender_host_name)
1710   g = string_append(g, 3, US";\n\tiprev=pass (", sender_host_name, US")");
1711 else if (host_lookup_deferred)
1712   g = string_catn(g, US";\n\tiprev=temperror", 19);
1713 else if (host_lookup_failed)
1714   g = string_catn(g, US";\n\tiprev=fail", 13);
1715 else
1716   return g;
1717
1718 if (sender_host_address)
1719   g = string_append(g, 2, US" smtp.remote-ip=", sender_host_address);
1720 return g;
1721 }
1722
1723
1724
1725 /*************************************************
1726 *               Return list of recipients        *
1727 *************************************************/
1728 /* A recipients list is available only during system message filtering,
1729 during ACL processing after DATA, and while expanding pipe commands
1730 generated from a system filter, but not elsewhere. */
1731
1732 static uschar *
1733 fn_recipients(void)
1734 {
1735 uschar * s;
1736 gstring * g = NULL;
1737
1738 if (!f.enable_dollar_recipients) return NULL;
1739
1740 for (int i = 0; i < recipients_count; i++)
1741   {
1742   s = recipients_list[i].address;
1743   g = string_append2_listele_n(g, US", ", s, Ustrlen(s));
1744   }
1745 return g ? g->s : NULL;
1746 }
1747
1748
1749 /*************************************************
1750 *               Find value of a variable         *
1751 *************************************************/
1752
1753 /* The table of variables is kept in alphabetic order, so we can search it
1754 using a binary chop. The "choplen" variable is nothing to do with the binary
1755 chop.
1756
1757 Arguments:
1758   name          the name of the variable being sought
1759   exists_only   TRUE if this is a def: test; passed on to find_header()
1760   skipping      TRUE => skip any processing evaluation; this is not the same as
1761                   exists_only because def: may test for values that are first
1762                   evaluated here
1763   newsize       pointer to an int which is initially zero; if the answer is in
1764                 a new memory buffer, *newsize is set to its size
1765
1766 Returns:        NULL if the variable does not exist, or
1767                 a pointer to the variable's contents, or
1768                 something non-NULL if exists_only is TRUE
1769 */
1770
1771 static uschar *
1772 find_variable(uschar *name, BOOL exists_only, BOOL skipping, int *newsize)
1773 {
1774 var_entry * vp;
1775 uschar *s, *domain;
1776 uschar **ss;
1777 void * val;
1778
1779 /* Handle ACL variables, whose names are of the form acl_cxxx or acl_mxxx.
1780 Originally, xxx had to be a number in the range 0-9 (later 0-19), but from
1781 release 4.64 onwards arbitrary names are permitted, as long as the first 5
1782 characters are acl_c or acl_m and the sixth is either a digit or an underscore
1783 (this gave backwards compatibility at the changeover). There may be built-in
1784 variables whose names start acl_ but they should never start in this way. This
1785 slightly messy specification is a consequence of the history, needless to say.
1786
1787 If an ACL variable does not exist, treat it as empty, unless strict_acl_vars is
1788 set, in which case give an error. */
1789
1790 if ((Ustrncmp(name, "acl_c", 5) == 0 || Ustrncmp(name, "acl_m", 5) == 0) &&
1791      !isalpha(name[5]))
1792   {
1793   tree_node * node =
1794     tree_search(name[4] == 'c' ? acl_var_c : acl_var_m, name + 4);
1795   return node ? node->data.ptr : strict_acl_vars ? NULL : US"";
1796   }
1797 else if (Ustrncmp(name, "r_", 2) == 0)
1798   {
1799   tree_node * node = tree_search(router_var, name + 2);
1800   return node ? node->data.ptr : strict_acl_vars ? NULL : US"";
1801   }
1802
1803 /* Handle $auth<n> variables. */
1804
1805 if (Ustrncmp(name, "auth", 4) == 0)
1806   {
1807   uschar *endptr;
1808   int n = Ustrtoul(name + 4, &endptr, 10);
1809   if (*endptr == 0 && n != 0 && n <= AUTH_VARS)
1810     return !auth_vars[n-1] ? US"" : auth_vars[n-1];
1811   }
1812 else if (Ustrncmp(name, "regex", 5) == 0)
1813   {
1814   uschar *endptr;
1815   int n = Ustrtoul(name + 5, &endptr, 10);
1816   if (*endptr == 0 && n != 0 && n <= REGEX_VARS)
1817     return !regex_vars[n-1] ? US"" : regex_vars[n-1];
1818   }
1819
1820 /* For all other variables, search the table */
1821
1822 if (!(vp = find_var_ent(name)))
1823   return NULL;          /* Unknown variable name */
1824
1825 /* Found an existing variable. If in skipping state, the value isn't needed,
1826 and we want to avoid processing (such as looking up the host name). */
1827
1828 if (skipping)
1829   return US"";
1830
1831 val = vp->value;
1832 switch (vp->type)
1833   {
1834   case vtype_filter_int:
1835     if (!f.filter_running) return NULL;
1836     /* Fall through */
1837     /* VVVVVVVVVVVV */
1838   case vtype_int:
1839     sprintf(CS var_buffer, "%d", *(int *)(val)); /* Integer */
1840     return var_buffer;
1841
1842   case vtype_ino:
1843     sprintf(CS var_buffer, "%ld", (long int)(*(ino_t *)(val))); /* Inode */
1844     return var_buffer;
1845
1846   case vtype_gid:
1847     sprintf(CS var_buffer, "%ld", (long int)(*(gid_t *)(val))); /* gid */
1848     return var_buffer;
1849
1850   case vtype_uid:
1851     sprintf(CS var_buffer, "%ld", (long int)(*(uid_t *)(val))); /* uid */
1852     return var_buffer;
1853
1854   case vtype_bool:
1855     sprintf(CS var_buffer, "%s", *(BOOL *)(val) ? "yes" : "no"); /* bool */
1856     return var_buffer;
1857
1858   case vtype_stringptr:                      /* Pointer to string */
1859     return (s = *((uschar **)(val))) ? s : US"";
1860
1861   case vtype_pid:
1862     sprintf(CS var_buffer, "%d", (int)getpid()); /* pid */
1863     return var_buffer;
1864
1865   case vtype_load_avg:
1866     sprintf(CS var_buffer, "%d", OS_GETLOADAVG()); /* load_average */
1867     return var_buffer;
1868
1869   case vtype_host_lookup:                    /* Lookup if not done so */
1870     if (  !sender_host_name && sender_host_address
1871        && !host_lookup_failed && host_name_lookup() == OK)
1872       host_build_sender_fullhost();
1873     return sender_host_name ? sender_host_name : US"";
1874
1875   case vtype_localpart:                      /* Get local part from address */
1876     if (!(s = *((uschar **)(val)))) return US"";
1877     if (!(domain = Ustrrchr(s, '@'))) return s;
1878     if (domain - s > sizeof(var_buffer) - 1)
1879       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "local part longer than " SIZE_T_FMT
1880           " in string expansion", sizeof(var_buffer));
1881     return string_copyn(s, domain - s);
1882
1883   case vtype_domain:                         /* Get domain from address */
1884     if (!(s = *((uschar **)(val)))) return US"";
1885     domain = Ustrrchr(s, '@');
1886     return domain ? domain + 1 : US"";
1887
1888   case vtype_msgheaders:
1889     return find_header(NULL, newsize, exists_only ? FH_EXISTS_ONLY : 0, NULL);
1890
1891   case vtype_msgheaders_raw:
1892     return find_header(NULL, newsize,
1893                 exists_only ? FH_EXISTS_ONLY|FH_WANT_RAW : FH_WANT_RAW, NULL);
1894
1895   case vtype_msgbody:                        /* Pointer to msgbody string */
1896   case vtype_msgbody_end:                    /* Ditto, the end of the msg */
1897     ss = (uschar **)(val);
1898     if (!*ss && deliver_datafile >= 0)  /* Read body when needed */
1899       {
1900       uschar *body;
1901       off_t start_offset = SPOOL_DATA_START_OFFSET;
1902       int len = message_body_visible;
1903       if (len > message_size) len = message_size;
1904       *ss = body = store_malloc(len+1);
1905       body[0] = 0;
1906       if (vp->type == vtype_msgbody_end)
1907         {
1908         struct stat statbuf;
1909         if (fstat(deliver_datafile, &statbuf) == 0)
1910           {
1911           start_offset = statbuf.st_size - len;
1912           if (start_offset < SPOOL_DATA_START_OFFSET)
1913             start_offset = SPOOL_DATA_START_OFFSET;
1914           }
1915         }
1916       if (lseek(deliver_datafile, start_offset, SEEK_SET) < 0)
1917         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "deliver_datafile lseek: %s",
1918           strerror(errno));
1919       len = read(deliver_datafile, body, len);
1920       if (len > 0)
1921         {
1922         body[len] = 0;
1923         if (message_body_newlines)   /* Separate loops for efficiency */
1924           while (len > 0)
1925             { if (body[--len] == 0) body[len] = ' '; }
1926         else
1927           while (len > 0)
1928             { if (body[--len] == '\n' || body[len] == 0) body[len] = ' '; }
1929         }
1930       }
1931     return *ss ? *ss : US"";
1932
1933   case vtype_todbsdin:                       /* BSD inbox time of day */
1934     return tod_stamp(tod_bsdin);
1935
1936   case vtype_tode:                           /* Unix epoch time of day */
1937     return tod_stamp(tod_epoch);
1938
1939   case vtype_todel:                          /* Unix epoch/usec time of day */
1940     return tod_stamp(tod_epoch_l);
1941
1942   case vtype_todf:                           /* Full time of day */
1943     return tod_stamp(tod_full);
1944
1945   case vtype_todl:                           /* Log format time of day */
1946     return tod_stamp(tod_log_bare);            /* (without timezone) */
1947
1948   case vtype_todzone:                        /* Time zone offset only */
1949     return tod_stamp(tod_zone);
1950
1951   case vtype_todzulu:                        /* Zulu time */
1952     return tod_stamp(tod_zulu);
1953
1954   case vtype_todlf:                          /* Log file datestamp tod */
1955     return tod_stamp(tod_log_datestamp_daily);
1956
1957   case vtype_reply:                          /* Get reply address */
1958     s = find_header(US"reply-to:", newsize,
1959                 exists_only ? FH_EXISTS_ONLY|FH_WANT_RAW : FH_WANT_RAW,
1960                 headers_charset);
1961     if (s) while (isspace(*s)) s++;
1962     if (!s || !*s)
1963       {
1964       *newsize = 0;                            /* For the *s==0 case */
1965       s = find_header(US"from:", newsize,
1966                 exists_only ? FH_EXISTS_ONLY|FH_WANT_RAW : FH_WANT_RAW,
1967                 headers_charset);
1968       }
1969     if (s)
1970       {
1971       uschar *t;
1972       while (isspace(*s)) s++;
1973       for (t = s; *t != 0; t++) if (*t == '\n') *t = ' ';
1974       while (t > s && isspace(t[-1])) t--;
1975       *t = 0;
1976       }
1977     return s ? s : US"";
1978
1979   case vtype_string_func:
1980     {
1981     stringptr_fn_t * fn = (stringptr_fn_t *) val;
1982     return fn();
1983     }
1984
1985   case vtype_pspace:
1986     {
1987     int inodes;
1988     sprintf(CS var_buffer, PR_EXIM_ARITH,
1989       receive_statvfs(val == (void *)TRUE, &inodes));
1990     }
1991   return var_buffer;
1992
1993   case vtype_pinodes:
1994     {
1995     int inodes;
1996     (void) receive_statvfs(val == (void *)TRUE, &inodes);
1997     sprintf(CS var_buffer, "%d", inodes);
1998     }
1999   return var_buffer;
2000
2001   case vtype_cert:
2002     return *(void **)val ? US"<cert>" : US"";
2003
2004 #ifndef DISABLE_DKIM
2005   case vtype_dkim:
2006     return dkim_exim_expand_query((int)(long)val);
2007 #endif
2008
2009   }
2010
2011 return NULL;  /* Unknown variable. Silences static checkers. */
2012 }
2013
2014
2015
2016
2017 void
2018 modify_variable(uschar *name, void * value)
2019 {
2020 var_entry * vp;
2021 if ((vp = find_var_ent(name))) vp->value = value;
2022 return;          /* Unknown variable name, fail silently */
2023 }
2024
2025
2026
2027
2028
2029
2030 /*************************************************
2031 *           Read and expand substrings           *
2032 *************************************************/
2033
2034 /* This function is called to read and expand argument substrings for various
2035 expansion items. Some have a minimum requirement that is less than the maximum;
2036 in these cases, the first non-present one is set to NULL.
2037
2038 Arguments:
2039   sub        points to vector of pointers to set
2040   n          maximum number of substrings
2041   m          minimum required
2042   sptr       points to current string pointer
2043   skipping   the skipping flag
2044   check_end  if TRUE, check for final '}'
2045   name       name of item, for error message
2046   resetok    if not NULL, pointer to flag - write FALSE if unsafe to reset
2047              the store.
2048
2049 Returns:     0 OK; string pointer updated
2050              1 curly bracketing error (too few arguments)
2051              2 too many arguments (only if check_end is set); message set
2052              3 other error (expansion failure)
2053 */
2054
2055 static int
2056 read_subs(uschar **sub, int n, int m, const uschar **sptr, BOOL skipping,
2057   BOOL check_end, uschar *name, BOOL *resetok)
2058 {
2059 const uschar *s = *sptr;
2060
2061 while (isspace(*s)) s++;
2062 for (int i = 0; i < n; i++)
2063   {
2064   if (*s != '{')
2065     {
2066     if (i < m)
2067       {
2068       expand_string_message = string_sprintf("Not enough arguments for '%s' "
2069         "(min is %d)", name, m);
2070       return 1;
2071       }
2072     sub[i] = NULL;
2073     break;
2074     }
2075   if (!(sub[i] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, resetok)))
2076     return 3;
2077   if (*s++ != '}') return 1;
2078   while (isspace(*s)) s++;
2079   }
2080 if (check_end && *s++ != '}')
2081   {
2082   if (s[-1] == '{')
2083     {
2084     expand_string_message = string_sprintf("Too many arguments for '%s' "
2085       "(max is %d)", name, n);
2086     return 2;
2087     }
2088   expand_string_message = string_sprintf("missing '}' after '%s'", name);
2089   return 1;
2090   }
2091
2092 *sptr = s;
2093 return 0;
2094 }
2095
2096
2097
2098
2099 /*************************************************
2100 *     Elaborate message for bad variable         *
2101 *************************************************/
2102
2103 /* For the "unknown variable" message, take a look at the variable's name, and
2104 give additional information about possible ACL variables. The extra information
2105 is added on to expand_string_message.
2106
2107 Argument:   the name of the variable
2108 Returns:    nothing
2109 */
2110
2111 static void
2112 check_variable_error_message(uschar *name)
2113 {
2114 if (Ustrncmp(name, "acl_", 4) == 0)
2115   expand_string_message = string_sprintf("%s (%s)", expand_string_message,
2116     (name[4] == 'c' || name[4] == 'm')?
2117       (isalpha(name[5])?
2118         US"6th character of a user-defined ACL variable must be a digit or underscore" :
2119         US"strict_acl_vars is set"    /* Syntax is OK, it has to be this */
2120       ) :
2121       US"user-defined ACL variables must start acl_c or acl_m");
2122 }
2123
2124
2125
2126 /*
2127 Load args from sub array to globals, and call acl_check().
2128 Sub array will be corrupted on return.
2129
2130 Returns:       OK         access is granted by an ACCEPT verb
2131                DISCARD    access is (apparently) granted by a DISCARD verb
2132                FAIL       access is denied
2133                FAIL_DROP  access is denied; drop the connection
2134                DEFER      can't tell at the moment
2135                ERROR      disaster
2136 */
2137 static int
2138 eval_acl(uschar ** sub, int nsub, uschar ** user_msgp)
2139 {
2140 int i;
2141 int sav_narg = acl_narg;
2142 int ret;
2143 uschar * dummy_logmsg;
2144 extern int acl_where;
2145
2146 if(--nsub > nelem(acl_arg)) nsub = nelem(acl_arg);
2147 for (i = 0; i < nsub && sub[i+1]; i++)
2148   {
2149   uschar * tmp = acl_arg[i];
2150   acl_arg[i] = sub[i+1];        /* place callers args in the globals */
2151   sub[i+1] = tmp;               /* stash the old args using our caller's storage */
2152   }
2153 acl_narg = i;
2154 while (i < nsub)
2155   {
2156   sub[i+1] = acl_arg[i];
2157   acl_arg[i++] = NULL;
2158   }
2159
2160 DEBUG(D_expand)
2161   debug_printf_indent("expanding: acl: %s  arg: %s%s\n",
2162     sub[0],
2163     acl_narg>0 ? acl_arg[0] : US"<none>",
2164     acl_narg>1 ? " +more"   : "");
2165
2166 ret = acl_eval(acl_where, sub[0], user_msgp, &dummy_logmsg);
2167
2168 for (i = 0; i < nsub; i++)
2169   acl_arg[i] = sub[i+1];        /* restore old args */
2170 acl_narg = sav_narg;
2171
2172 return ret;
2173 }
2174
2175
2176
2177
2178 /* Return pointer to dewrapped string, with enclosing specified chars removed.
2179 The given string is modified on return.  Leading whitespace is skipped while
2180 looking for the opening wrap character, then the rest is scanned for the trailing
2181 (non-escaped) wrap character.  A backslash in the string will act as an escape.
2182
2183 A nul is written over the trailing wrap, and a pointer to the char after the
2184 leading wrap is returned.
2185
2186 Arguments:
2187   s     String for de-wrapping
2188   wrap  Two-char string, the first being the opener, second the closer wrapping
2189         character
2190 Return:
2191   Pointer to de-wrapped string, or NULL on error (with expand_string_message set).
2192 */
2193
2194 static uschar *
2195 dewrap(uschar * s, const uschar * wrap)
2196 {
2197 uschar * p = s;
2198 unsigned depth = 0;
2199 BOOL quotesmode = wrap[0] == wrap[1];
2200
2201 while (isspace(*p)) p++;
2202
2203 if (*p == *wrap)
2204   {
2205   s = ++p;
2206   wrap++;
2207   while (*p)
2208     {
2209     if (*p == '\\') p++;
2210     else if (!quotesmode && *p == wrap[-1]) depth++;
2211     else if (*p == *wrap)
2212       if (depth == 0)
2213         {
2214         *p = '\0';
2215         return s;
2216         }
2217       else
2218         depth--;
2219     p++;
2220     }
2221   }
2222 expand_string_message = string_sprintf("missing '%c'", *wrap);
2223 return NULL;
2224 }
2225
2226
2227 /* Pull off the leading array or object element, returning
2228 a copy in an allocated string.  Update the list pointer.
2229
2230 The element may itself be an abject or array.
2231 Return NULL when the list is empty.
2232 */
2233
2234 static uschar *
2235 json_nextinlist(const uschar ** list)
2236 {
2237 unsigned array_depth = 0, object_depth = 0;
2238 const uschar * s = *list, * item;
2239
2240 while (isspace(*s)) s++;
2241
2242 for (item = s;
2243      *s && (*s != ',' || array_depth != 0 || object_depth != 0);
2244      s++)
2245   switch (*s)
2246     {
2247     case '[': array_depth++; break;
2248     case ']': array_depth--; break;
2249     case '{': object_depth++; break;
2250     case '}': object_depth--; break;
2251     }
2252 *list = *s ? s+1 : s;
2253 if (item == s) return NULL;
2254 item = string_copyn(item, s - item);
2255 DEBUG(D_expand) debug_printf_indent("  json ele: '%s'\n", item);
2256 return US item;
2257 }
2258
2259
2260
2261 /************************************************/
2262 /*  Return offset in ops table, or -1 if not found.
2263 Repoint to just after the operator in the string.
2264
2265 Argument:
2266  ss     string representation of operator
2267  opname split-out operator name
2268 */
2269
2270 static int
2271 identify_operator(const uschar ** ss, uschar ** opname)
2272 {
2273 const uschar * s = *ss;
2274 uschar name[256];
2275
2276 /* Numeric comparisons are symbolic */
2277
2278 if (*s == '=' || *s == '>' || *s == '<')
2279   {
2280   int p = 0;
2281   name[p++] = *s++;
2282   if (*s == '=')
2283     {
2284     name[p++] = '=';
2285     s++;
2286     }
2287   name[p] = 0;
2288   }
2289
2290 /* All other conditions are named */
2291
2292 else
2293   s = read_name(name, sizeof(name), s, US"_");
2294 *ss = s;
2295
2296 /* If we haven't read a name, it means some non-alpha character is first. */
2297
2298 if (!name[0])
2299   {
2300   expand_string_message = string_sprintf("condition name expected, "
2301     "but found \"%.16s\"", s);
2302   return -1;
2303   }
2304 if (opname)
2305   *opname = string_copy(name);
2306
2307 return chop_match(name, cond_table, nelem(cond_table));
2308 }
2309
2310
2311 /*************************************************
2312 *    Handle MD5 or SHA-1 computation for HMAC    *
2313 *************************************************/
2314
2315 /* These are some wrapping functions that enable the HMAC code to be a bit
2316 cleaner. A good compiler will spot the tail recursion.
2317
2318 Arguments:
2319   type         HMAC_MD5 or HMAC_SHA1
2320   remaining    are as for the cryptographic hash functions
2321
2322 Returns:       nothing
2323 */
2324
2325 static void
2326 chash_start(int type, void * base)
2327 {
2328 if (type == HMAC_MD5)
2329   md5_start((md5 *)base);
2330 else
2331   sha1_start((hctx *)base);
2332 }
2333
2334 static void
2335 chash_mid(int type, void * base, const uschar * string)
2336 {
2337 if (type == HMAC_MD5)
2338   md5_mid((md5 *)base, string);
2339 else
2340   sha1_mid((hctx *)base, string);
2341 }
2342
2343 static void
2344 chash_end(int type, void * base, const uschar * string, int length,
2345   uschar * digest)
2346 {
2347 if (type == HMAC_MD5)
2348   md5_end((md5 *)base, string, length, digest);
2349 else
2350   sha1_end((hctx *)base, string, length, digest);
2351 }
2352
2353
2354
2355
2356 /* Do an hmac_md5.  The result is _not_ nul-terminated, and is sized as
2357 the smaller of a full hmac_md5 result (16 bytes) or the supplied output buffer.
2358
2359 Arguments:
2360         key     encoding key, nul-terminated
2361         src     data to be hashed, nul-terminated
2362         buf     output buffer
2363         len     size of output buffer
2364 */
2365
2366 static void
2367 hmac_md5(const uschar * key, const uschar * src, uschar * buf, unsigned len)
2368 {
2369 md5 md5_base;
2370 const uschar * keyptr;
2371 uschar * p;
2372 unsigned int keylen;
2373
2374 #define MD5_HASHLEN      16
2375 #define MD5_HASHBLOCKLEN 64
2376
2377 uschar keyhash[MD5_HASHLEN];
2378 uschar innerhash[MD5_HASHLEN];
2379 uschar finalhash[MD5_HASHLEN];
2380 uschar innerkey[MD5_HASHBLOCKLEN];
2381 uschar outerkey[MD5_HASHBLOCKLEN];
2382
2383 keyptr = key;
2384 keylen = Ustrlen(keyptr);
2385
2386 /* If the key is longer than the hash block length, then hash the key
2387 first */
2388
2389 if (keylen > MD5_HASHBLOCKLEN)
2390   {
2391   chash_start(HMAC_MD5, &md5_base);
2392   chash_end(HMAC_MD5, &md5_base, keyptr, keylen, keyhash);
2393   keyptr = keyhash;
2394   keylen = MD5_HASHLEN;
2395   }
2396
2397 /* Now make the inner and outer key values */
2398
2399 memset(innerkey, 0x36, MD5_HASHBLOCKLEN);
2400 memset(outerkey, 0x5c, MD5_HASHBLOCKLEN);
2401
2402 for (int i = 0; i < keylen; i++)
2403   {
2404   innerkey[i] ^= keyptr[i];
2405   outerkey[i] ^= keyptr[i];
2406   }
2407
2408 /* Now do the hashes */
2409
2410 chash_start(HMAC_MD5, &md5_base);
2411 chash_mid(HMAC_MD5, &md5_base, innerkey);
2412 chash_end(HMAC_MD5, &md5_base, src, Ustrlen(src), innerhash);
2413
2414 chash_start(HMAC_MD5, &md5_base);
2415 chash_mid(HMAC_MD5, &md5_base, outerkey);
2416 chash_end(HMAC_MD5, &md5_base, innerhash, MD5_HASHLEN, finalhash);
2417
2418 /* Encode the final hash as a hex string, limited by output buffer size */
2419
2420 p = buf;
2421 for (int i = 0, j = len; i < MD5_HASHLEN; i++)
2422   {
2423   if (j-- <= 0) break;
2424   *p++ = hex_digits[(finalhash[i] & 0xf0) >> 4];
2425   if (j-- <= 0) break;
2426   *p++ = hex_digits[finalhash[i] & 0x0f];
2427   }
2428 return;
2429 }
2430
2431
2432 /*************************************************
2433 *        Read and evaluate a condition           *
2434 *************************************************/
2435
2436 /*
2437 Arguments:
2438   s        points to the start of the condition text
2439   resetok  points to a BOOL which is written false if it is unsafe to
2440            free memory. Certain condition types (acl) may have side-effect
2441            allocation which must be preserved.
2442   yield    points to a BOOL to hold the result of the condition test;
2443            if NULL, we are just reading through a condition that is
2444            part of an "or" combination to check syntax, or in a state
2445            where the answer isn't required
2446
2447 Returns:   a pointer to the first character after the condition, or
2448            NULL after an error
2449 */
2450
2451 static const uschar *
2452 eval_condition(const uschar *s, BOOL *resetok, BOOL *yield)
2453 {
2454 BOOL testfor = TRUE;
2455 BOOL tempcond, combined_cond;
2456 BOOL *subcondptr;
2457 BOOL sub2_honour_dollar = TRUE;
2458 BOOL is_forany, is_json, is_jsons;
2459 int rc, cond_type, roffset;
2460 int_eximarith_t num[2];
2461 struct stat statbuf;
2462 uschar * opname;
2463 uschar name[256];
2464 const uschar *sub[10];
2465
2466 const pcre *re;
2467 const uschar *rerror;
2468
2469 for (;;)
2470   {
2471   while (isspace(*s)) s++;
2472   if (*s == '!') { testfor = !testfor; s++; } else break;
2473   }
2474
2475 switch(cond_type = identify_operator(&s, &opname))
2476   {
2477   /* def: tests for a non-empty variable, or for the existence of a header. If
2478   yield == NULL we are in a skipping state, and don't care about the answer. */
2479
2480   case ECOND_DEF:
2481     {
2482     uschar * t;
2483
2484     if (*s != ':')
2485       {
2486       expand_string_message = US"\":\" expected after \"def\"";
2487       return NULL;
2488       }
2489
2490     s = read_name(name, sizeof(name), s+1, US"_");
2491
2492     /* Test for a header's existence. If the name contains a closing brace
2493     character, this may be a user error where the terminating colon has been
2494     omitted. Set a flag to adjust a subsequent error message in this case. */
2495
2496     if (  ( *(t = name) == 'h'
2497           || (*t == 'r' || *t == 'l' || *t == 'b') && *++t == 'h'
2498           )
2499        && (*++t == '_' || Ustrncmp(t, "eader_", 6) == 0)
2500        )
2501       {
2502       s = read_header_name(name, sizeof(name), s);
2503       /* {-for-text-editors */
2504       if (Ustrchr(name, '}') != NULL) malformed_header = TRUE;
2505       if (yield) *yield =
2506         (find_header(name, NULL, FH_EXISTS_ONLY, NULL) != NULL) == testfor;
2507       }
2508
2509     /* Test for a variable's having a non-empty value. A non-existent variable
2510     causes an expansion failure. */
2511
2512     else
2513       {
2514       if (!(t = find_variable(name, TRUE, yield == NULL, NULL)))
2515         {
2516         expand_string_message = name[0]
2517           ? string_sprintf("unknown variable \"%s\" after \"def:\"", name)
2518           : US"variable name omitted after \"def:\"";
2519         check_variable_error_message(name);
2520         return NULL;
2521         }
2522       if (yield) *yield = (t[0] != 0) == testfor;
2523       }
2524
2525     return s;
2526     }
2527
2528
2529   /* first_delivery tests for first delivery attempt */
2530
2531   case ECOND_FIRST_DELIVERY:
2532   if (yield != NULL) *yield = f.deliver_firsttime == testfor;
2533   return s;
2534
2535
2536   /* queue_running tests for any process started by a queue runner */
2537
2538   case ECOND_QUEUE_RUNNING:
2539   if (yield != NULL) *yield = (queue_run_pid != (pid_t)0) == testfor;
2540   return s;
2541
2542
2543   /* exists:  tests for file existence
2544        isip:  tests for any IP address
2545       isip4:  tests for an IPv4 address
2546       isip6:  tests for an IPv6 address
2547         pam:  does PAM authentication
2548      radius:  does RADIUS authentication
2549    ldapauth:  does LDAP authentication
2550     pwcheck:  does Cyrus SASL pwcheck authentication
2551   */
2552
2553   case ECOND_EXISTS:
2554   case ECOND_ISIP:
2555   case ECOND_ISIP4:
2556   case ECOND_ISIP6:
2557   case ECOND_PAM:
2558   case ECOND_RADIUS:
2559   case ECOND_LDAPAUTH:
2560   case ECOND_PWCHECK:
2561
2562   while (isspace(*s)) s++;
2563   if (*s != '{') goto COND_FAILED_CURLY_START;          /* }-for-text-editors */
2564
2565   sub[0] = expand_string_internal(s+1, TRUE, &s, yield == NULL, TRUE, resetok);
2566   if (sub[0] == NULL) return NULL;
2567   /* {-for-text-editors */
2568   if (*s++ != '}') goto COND_FAILED_CURLY_END;
2569
2570   if (yield == NULL) return s;   /* No need to run the test if skipping */
2571
2572   switch(cond_type)
2573     {
2574     case ECOND_EXISTS:
2575     if ((expand_forbid & RDO_EXISTS) != 0)
2576       {
2577       expand_string_message = US"File existence tests are not permitted";
2578       return NULL;
2579       }
2580     *yield = (Ustat(sub[0], &statbuf) == 0) == testfor;
2581     break;
2582
2583     case ECOND_ISIP:
2584     case ECOND_ISIP4:
2585     case ECOND_ISIP6:
2586     rc = string_is_ip_address(sub[0], NULL);
2587     *yield = ((cond_type == ECOND_ISIP)? (rc != 0) :
2588              (cond_type == ECOND_ISIP4)? (rc == 4) : (rc == 6)) == testfor;
2589     break;
2590
2591     /* Various authentication tests - all optionally compiled */
2592
2593     case ECOND_PAM:
2594     #ifdef SUPPORT_PAM
2595     rc = auth_call_pam(sub[0], &expand_string_message);
2596     goto END_AUTH;
2597     #else
2598     goto COND_FAILED_NOT_COMPILED;
2599     #endif  /* SUPPORT_PAM */
2600
2601     case ECOND_RADIUS:
2602     #ifdef RADIUS_CONFIG_FILE
2603     rc = auth_call_radius(sub[0], &expand_string_message);
2604     goto END_AUTH;
2605     #else
2606     goto COND_FAILED_NOT_COMPILED;
2607     #endif  /* RADIUS_CONFIG_FILE */
2608
2609     case ECOND_LDAPAUTH:
2610     #ifdef LOOKUP_LDAP
2611       {
2612       /* Just to keep the interface the same */
2613       BOOL do_cache;
2614       int old_pool = store_pool;
2615       store_pool = POOL_SEARCH;
2616       rc = eldapauth_find((void *)(-1), NULL, sub[0], Ustrlen(sub[0]), NULL,
2617         &expand_string_message, &do_cache);
2618       store_pool = old_pool;
2619       }
2620     goto END_AUTH;
2621     #else
2622     goto COND_FAILED_NOT_COMPILED;
2623     #endif  /* LOOKUP_LDAP */
2624
2625     case ECOND_PWCHECK:
2626     #ifdef CYRUS_PWCHECK_SOCKET
2627     rc = auth_call_pwcheck(sub[0], &expand_string_message);
2628     goto END_AUTH;
2629     #else
2630     goto COND_FAILED_NOT_COMPILED;
2631     #endif  /* CYRUS_PWCHECK_SOCKET */
2632
2633     #if defined(SUPPORT_PAM) || defined(RADIUS_CONFIG_FILE) || \
2634         defined(LOOKUP_LDAP) || defined(CYRUS_PWCHECK_SOCKET)
2635     END_AUTH:
2636     if (rc == ERROR || rc == DEFER) return NULL;
2637     *yield = (rc == OK) == testfor;
2638     #endif
2639     }
2640   return s;
2641
2642
2643   /* call ACL (in a conditional context).  Accept true, deny false.
2644   Defer is a forced-fail.  Anything set by message= goes to $value.
2645   Up to ten parameters are used; we use the braces round the name+args
2646   like the saslauthd condition does, to permit a variable number of args.
2647   See also the expansion-item version EITEM_ACL and the traditional
2648   acl modifier ACLC_ACL.
2649   Since the ACL may allocate new global variables, tell our caller to not
2650   reclaim memory.
2651   */
2652
2653   case ECOND_ACL:
2654     /* ${if acl {{name}{arg1}{arg2}...}  {yes}{no}} */
2655     {
2656     uschar *sub[10];
2657     uschar *user_msg;
2658     BOOL cond = FALSE;
2659
2660     while (isspace(*s)) s++;
2661     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /*}*/
2662
2663     switch(read_subs(sub, nelem(sub), 1,
2664       &s, yield == NULL, TRUE, US"acl", resetok))
2665       {
2666       case 1: expand_string_message = US"too few arguments or bracketing "
2667         "error for acl";
2668       case 2:
2669       case 3: return NULL;
2670       }
2671
2672     if (yield != NULL)
2673       {
2674       int rc;
2675       *resetok = FALSE; /* eval_acl() might allocate; do not reclaim */
2676       switch(rc = eval_acl(sub, nelem(sub), &user_msg))
2677         {
2678         case OK:
2679           cond = TRUE;
2680         case FAIL:
2681           lookup_value = NULL;
2682           if (user_msg)
2683             lookup_value = string_copy(user_msg);
2684           *yield = cond == testfor;
2685           break;
2686
2687         case DEFER:
2688           f.expand_string_forcedfail = TRUE;
2689           /*FALLTHROUGH*/
2690         default:
2691           expand_string_message = string_sprintf("%s from acl \"%s\"",
2692             rc_names[rc], sub[0]);
2693           return NULL;
2694         }
2695       }
2696     return s;
2697     }
2698
2699
2700   /* saslauthd: does Cyrus saslauthd authentication. Four parameters are used:
2701
2702      ${if saslauthd {{username}{password}{service}{realm}}  {yes}{no}}
2703
2704   However, the last two are optional. That is why the whole set is enclosed
2705   in their own set of braces. */
2706
2707   case ECOND_SASLAUTHD:
2708 #ifndef CYRUS_SASLAUTHD_SOCKET
2709     goto COND_FAILED_NOT_COMPILED;
2710 #else
2711     {
2712     uschar *sub[4];
2713     while (isspace(*s)) s++;
2714     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /* }-for-text-editors */
2715     switch(read_subs(sub, nelem(sub), 2, &s, yield == NULL, TRUE, US"saslauthd",
2716                     resetok))
2717       {
2718       case 1: expand_string_message = US"too few arguments or bracketing "
2719         "error for saslauthd";
2720       case 2:
2721       case 3: return NULL;
2722       }
2723     if (sub[2] == NULL) sub[3] = NULL;  /* realm if no service */
2724     if (yield != NULL)
2725       {
2726       int rc = auth_call_saslauthd(sub[0], sub[1], sub[2], sub[3],
2727         &expand_string_message);
2728       if (rc == ERROR || rc == DEFER) return NULL;
2729       *yield = (rc == OK) == testfor;
2730       }
2731     return s;
2732     }
2733 #endif /* CYRUS_SASLAUTHD_SOCKET */
2734
2735
2736   /* symbolic operators for numeric and string comparison, and a number of
2737   other operators, all requiring two arguments.
2738
2739   crypteq:           encrypts plaintext and compares against an encrypted text,
2740                        using crypt(), crypt16(), MD5 or SHA-1
2741   inlist/inlisti:    checks if first argument is in the list of the second
2742   match:             does a regular expression match and sets up the numerical
2743                        variables if it succeeds
2744   match_address:     matches in an address list
2745   match_domain:      matches in a domain list
2746   match_ip:          matches a host list that is restricted to IP addresses
2747   match_local_part:  matches in a local part list
2748   */
2749
2750   case ECOND_MATCH_ADDRESS:
2751   case ECOND_MATCH_DOMAIN:
2752   case ECOND_MATCH_IP:
2753   case ECOND_MATCH_LOCAL_PART:
2754 #ifndef EXPAND_LISTMATCH_RHS
2755     sub2_honour_dollar = FALSE;
2756 #endif
2757     /* FALLTHROUGH */
2758
2759   case ECOND_CRYPTEQ:
2760   case ECOND_INLIST:
2761   case ECOND_INLISTI:
2762   case ECOND_MATCH:
2763
2764   case ECOND_NUM_L:     /* Numerical comparisons */
2765   case ECOND_NUM_LE:
2766   case ECOND_NUM_E:
2767   case ECOND_NUM_EE:
2768   case ECOND_NUM_G:
2769   case ECOND_NUM_GE:
2770
2771   case ECOND_STR_LT:    /* String comparisons */
2772   case ECOND_STR_LTI:
2773   case ECOND_STR_LE:
2774   case ECOND_STR_LEI:
2775   case ECOND_STR_EQ:
2776   case ECOND_STR_EQI:
2777   case ECOND_STR_GT:
2778   case ECOND_STR_GTI:
2779   case ECOND_STR_GE:
2780   case ECOND_STR_GEI:
2781
2782   for (int i = 0; i < 2; i++)
2783     {
2784     /* Sometimes, we don't expand substrings; too many insecure configurations
2785     created using match_address{}{} and friends, where the second param
2786     includes information from untrustworthy sources. */
2787     BOOL honour_dollar = TRUE;
2788     if ((i > 0) && !sub2_honour_dollar)
2789       honour_dollar = FALSE;
2790
2791     while (isspace(*s)) s++;
2792     if (*s != '{')
2793       {
2794       if (i == 0) goto COND_FAILED_CURLY_START;
2795       expand_string_message = string_sprintf("missing 2nd string in {} "
2796         "after \"%s\"", opname);
2797       return NULL;
2798       }
2799     if (!(sub[i] = expand_string_internal(s+1, TRUE, &s, yield == NULL,
2800         honour_dollar, resetok)))
2801       return NULL;
2802     DEBUG(D_expand) if (i == 1 && !sub2_honour_dollar && Ustrchr(sub[1], '$'))
2803       debug_printf_indent("WARNING: the second arg is NOT expanded,"
2804                         " for security reasons\n");
2805     if (*s++ != '}') goto COND_FAILED_CURLY_END;
2806
2807     /* Convert to numerical if required; we know that the names of all the
2808     conditions that compare numbers do not start with a letter. This just saves
2809     checking for them individually. */
2810
2811     if (!isalpha(opname[0]) && yield != NULL)
2812       if (sub[i][0] == 0)
2813         {
2814         num[i] = 0;
2815         DEBUG(D_expand)
2816           debug_printf_indent("empty string cast to zero for numerical comparison\n");
2817         }
2818       else
2819         {
2820         num[i] = expanded_string_integer(sub[i], FALSE);
2821         if (expand_string_message != NULL) return NULL;
2822         }
2823     }
2824
2825   /* Result not required */
2826
2827   if (yield == NULL) return s;
2828
2829   /* Do an appropriate comparison */
2830
2831   switch(cond_type)
2832     {
2833     case ECOND_NUM_E:
2834     case ECOND_NUM_EE:
2835     tempcond = (num[0] == num[1]);
2836     break;
2837
2838     case ECOND_NUM_G:
2839     tempcond = (num[0] > num[1]);
2840     break;
2841
2842     case ECOND_NUM_GE:
2843     tempcond = (num[0] >= num[1]);
2844     break;
2845
2846     case ECOND_NUM_L:
2847     tempcond = (num[0] < num[1]);
2848     break;
2849
2850     case ECOND_NUM_LE:
2851     tempcond = (num[0] <= num[1]);
2852     break;
2853
2854     case ECOND_STR_LT:
2855     tempcond = (Ustrcmp(sub[0], sub[1]) < 0);
2856     break;
2857
2858     case ECOND_STR_LTI:
2859     tempcond = (strcmpic(sub[0], sub[1]) < 0);
2860     break;
2861
2862     case ECOND_STR_LE:
2863     tempcond = (Ustrcmp(sub[0], sub[1]) <= 0);
2864     break;
2865
2866     case ECOND_STR_LEI:
2867     tempcond = (strcmpic(sub[0], sub[1]) <= 0);
2868     break;
2869
2870     case ECOND_STR_EQ:
2871     tempcond = (Ustrcmp(sub[0], sub[1]) == 0);
2872     break;
2873
2874     case ECOND_STR_EQI:
2875     tempcond = (strcmpic(sub[0], sub[1]) == 0);
2876     break;
2877
2878     case ECOND_STR_GT:
2879     tempcond = (Ustrcmp(sub[0], sub[1]) > 0);
2880     break;
2881
2882     case ECOND_STR_GTI:
2883     tempcond = (strcmpic(sub[0], sub[1]) > 0);
2884     break;
2885
2886     case ECOND_STR_GE:
2887     tempcond = (Ustrcmp(sub[0], sub[1]) >= 0);
2888     break;
2889
2890     case ECOND_STR_GEI:
2891     tempcond = (strcmpic(sub[0], sub[1]) >= 0);
2892     break;
2893
2894     case ECOND_MATCH:   /* Regular expression match */
2895     re = pcre_compile(CS sub[1], PCRE_COPT, (const char **)&rerror, &roffset,
2896       NULL);
2897     if (re == NULL)
2898       {
2899       expand_string_message = string_sprintf("regular expression error in "
2900         "\"%s\": %s at offset %d", sub[1], rerror, roffset);
2901       return NULL;
2902       }
2903     tempcond = regex_match_and_setup(re, sub[0], 0, -1);
2904     break;
2905
2906     case ECOND_MATCH_ADDRESS:  /* Match in an address list */
2907     rc = match_address_list(sub[0], TRUE, FALSE, &(sub[1]), NULL, -1, 0, NULL);
2908     goto MATCHED_SOMETHING;
2909
2910     case ECOND_MATCH_DOMAIN:   /* Match in a domain list */
2911     rc = match_isinlist(sub[0], &(sub[1]), 0, &domainlist_anchor, NULL,
2912       MCL_DOMAIN + MCL_NOEXPAND, TRUE, NULL);
2913     goto MATCHED_SOMETHING;
2914
2915     case ECOND_MATCH_IP:       /* Match IP address in a host list */
2916     if (sub[0][0] != 0 && string_is_ip_address(sub[0], NULL) == 0)
2917       {
2918       expand_string_message = string_sprintf("\"%s\" is not an IP address",
2919         sub[0]);
2920       return NULL;
2921       }
2922     else
2923       {
2924       unsigned int *nullcache = NULL;
2925       check_host_block cb;
2926
2927       cb.host_name = US"";
2928       cb.host_address = sub[0];
2929
2930       /* If the host address starts off ::ffff: it is an IPv6 address in
2931       IPv4-compatible mode. Find the IPv4 part for checking against IPv4
2932       addresses. */
2933
2934       cb.host_ipv4 = (Ustrncmp(cb.host_address, "::ffff:", 7) == 0)?
2935         cb.host_address + 7 : cb.host_address;
2936
2937       rc = match_check_list(
2938              &sub[1],                   /* the list */
2939              0,                         /* separator character */
2940              &hostlist_anchor,          /* anchor pointer */
2941              &nullcache,                /* cache pointer */
2942              check_host,                /* function for testing */
2943              &cb,                       /* argument for function */
2944              MCL_HOST,                  /* type of check */
2945              sub[0],                    /* text for debugging */
2946              NULL);                     /* where to pass back data */
2947       }
2948     goto MATCHED_SOMETHING;
2949
2950     case ECOND_MATCH_LOCAL_PART:
2951     rc = match_isinlist(sub[0], &(sub[1]), 0, &localpartlist_anchor, NULL,
2952       MCL_LOCALPART + MCL_NOEXPAND, TRUE, NULL);
2953     /* Fall through */
2954     /* VVVVVVVVVVVV */
2955     MATCHED_SOMETHING:
2956     switch(rc)
2957       {
2958       case OK:
2959       tempcond = TRUE;
2960       break;
2961
2962       case FAIL:
2963       tempcond = FALSE;
2964       break;
2965
2966       case DEFER:
2967       expand_string_message = string_sprintf("unable to complete match "
2968         "against \"%s\": %s", sub[1], search_error_message);
2969       return NULL;
2970       }
2971
2972     break;
2973
2974     /* Various "encrypted" comparisons. If the second string starts with
2975     "{" then an encryption type is given. Default to crypt() or crypt16()
2976     (build-time choice). */
2977     /* }-for-text-editors */
2978
2979     case ECOND_CRYPTEQ:
2980     #ifndef SUPPORT_CRYPTEQ
2981     goto COND_FAILED_NOT_COMPILED;
2982     #else
2983     if (strncmpic(sub[1], US"{md5}", 5) == 0)
2984       {
2985       int sublen = Ustrlen(sub[1]+5);
2986       md5 base;
2987       uschar digest[16];
2988
2989       md5_start(&base);
2990       md5_end(&base, sub[0], Ustrlen(sub[0]), digest);
2991
2992       /* If the length that we are comparing against is 24, the MD5 digest
2993       is expressed as a base64 string. This is the way LDAP does it. However,
2994       some other software uses a straightforward hex representation. We assume
2995       this if the length is 32. Other lengths fail. */
2996
2997       if (sublen == 24)
2998         {
2999         uschar *coded = b64encode(CUS digest, 16);
3000         DEBUG(D_auth) debug_printf("crypteq: using MD5+B64 hashing\n"
3001           "  subject=%s\n  crypted=%s\n", coded, sub[1]+5);
3002         tempcond = (Ustrcmp(coded, sub[1]+5) == 0);
3003         }
3004       else if (sublen == 32)
3005         {
3006         uschar coded[36];
3007         for (int i = 0; i < 16; i++) sprintf(CS (coded+2*i), "%02X", digest[i]);
3008         coded[32] = 0;
3009         DEBUG(D_auth) debug_printf("crypteq: using MD5+hex hashing\n"
3010           "  subject=%s\n  crypted=%s\n", coded, sub[1]+5);
3011         tempcond = (strcmpic(coded, sub[1]+5) == 0);
3012         }
3013       else
3014         {
3015         DEBUG(D_auth) debug_printf("crypteq: length for MD5 not 24 or 32: "
3016           "fail\n  crypted=%s\n", sub[1]+5);
3017         tempcond = FALSE;
3018         }
3019       }
3020
3021     else if (strncmpic(sub[1], US"{sha1}", 6) == 0)
3022       {
3023       int sublen = Ustrlen(sub[1]+6);
3024       hctx h;
3025       uschar digest[20];
3026
3027       sha1_start(&h);
3028       sha1_end(&h, sub[0], Ustrlen(sub[0]), digest);
3029
3030       /* If the length that we are comparing against is 28, assume the SHA1
3031       digest is expressed as a base64 string. If the length is 40, assume a
3032       straightforward hex representation. Other lengths fail. */
3033
3034       if (sublen == 28)
3035         {
3036         uschar *coded = b64encode(CUS digest, 20);
3037         DEBUG(D_auth) debug_printf("crypteq: using SHA1+B64 hashing\n"
3038           "  subject=%s\n  crypted=%s\n", coded, sub[1]+6);
3039         tempcond = (Ustrcmp(coded, sub[1]+6) == 0);
3040         }
3041       else if (sublen == 40)
3042         {
3043         uschar coded[44];
3044         for (int i = 0; i < 20; i++) sprintf(CS (coded+2*i), "%02X", digest[i]);
3045         coded[40] = 0;
3046         DEBUG(D_auth) debug_printf("crypteq: using SHA1+hex hashing\n"
3047           "  subject=%s\n  crypted=%s\n", coded, sub[1]+6);
3048         tempcond = (strcmpic(coded, sub[1]+6) == 0);
3049         }
3050       else
3051         {
3052         DEBUG(D_auth) debug_printf("crypteq: length for SHA-1 not 28 or 40: "
3053           "fail\n  crypted=%s\n", sub[1]+6);
3054         tempcond = FALSE;
3055         }
3056       }
3057
3058     else   /* {crypt} or {crypt16} and non-{ at start */
3059            /* }-for-text-editors */
3060       {
3061       int which = 0;
3062       uschar *coded;
3063
3064       if (strncmpic(sub[1], US"{crypt}", 7) == 0)
3065         {
3066         sub[1] += 7;
3067         which = 1;
3068         }
3069       else if (strncmpic(sub[1], US"{crypt16}", 9) == 0)
3070         {
3071         sub[1] += 9;
3072         which = 2;
3073         }
3074       else if (sub[1][0] == '{')                /* }-for-text-editors */
3075         {
3076         expand_string_message = string_sprintf("unknown encryption mechanism "
3077           "in \"%s\"", sub[1]);
3078         return NULL;
3079         }
3080
3081       switch(which)
3082         {
3083         case 0:  coded = US DEFAULT_CRYPT(CS sub[0], CS sub[1]); break;
3084         case 1:  coded = US crypt(CS sub[0], CS sub[1]); break;
3085         default: coded = US crypt16(CS sub[0], CS sub[1]); break;
3086         }
3087
3088       #define STR(s) # s
3089       #define XSTR(s) STR(s)
3090       DEBUG(D_auth) debug_printf("crypteq: using %s()\n"
3091         "  subject=%s\n  crypted=%s\n",
3092         which == 0 ? XSTR(DEFAULT_CRYPT) : which == 1 ? "crypt" : "crypt16",
3093         coded, sub[1]);
3094       #undef STR
3095       #undef XSTR
3096
3097       /* If the encrypted string contains fewer than two characters (for the
3098       salt), force failure. Otherwise we get false positives: with an empty
3099       string the yield of crypt() is an empty string! */
3100
3101       if (coded)
3102         tempcond = Ustrlen(sub[1]) < 2 ? FALSE : Ustrcmp(coded, sub[1]) == 0;
3103       else if (errno == EINVAL)
3104         tempcond = FALSE;
3105       else
3106         {
3107         expand_string_message = string_sprintf("crypt error: %s\n",
3108           US strerror(errno));
3109         return NULL;
3110         }
3111       }
3112     break;
3113     #endif  /* SUPPORT_CRYPTEQ */
3114
3115     case ECOND_INLIST:
3116     case ECOND_INLISTI:
3117       {
3118       const uschar * list = sub[1];
3119       int sep = 0;
3120       uschar *save_iterate_item = iterate_item;
3121       int (*compare)(const uschar *, const uschar *);
3122
3123       DEBUG(D_expand) debug_printf_indent("condition: %s  item: %s\n", opname, sub[0]);
3124
3125       tempcond = FALSE;
3126       compare = cond_type == ECOND_INLISTI
3127         ? strcmpic : (int (*)(const uschar *, const uschar *)) strcmp;
3128
3129       while ((iterate_item = string_nextinlist(&list, &sep, NULL, 0)))
3130         {
3131         DEBUG(D_expand) debug_printf_indent(" compare %s\n", iterate_item);
3132         if (compare(sub[0], iterate_item) == 0)
3133           {
3134           tempcond = TRUE;
3135           break;
3136           }
3137         }
3138       iterate_item = save_iterate_item;
3139       }
3140
3141     }   /* Switch for comparison conditions */
3142
3143   *yield = tempcond == testfor;
3144   return s;    /* End of comparison conditions */
3145
3146
3147   /* and/or: computes logical and/or of several conditions */
3148
3149   case ECOND_AND:
3150   case ECOND_OR:
3151   subcondptr = (yield == NULL)? NULL : &tempcond;
3152   combined_cond = (cond_type == ECOND_AND);
3153
3154   while (isspace(*s)) s++;
3155   if (*s++ != '{') goto COND_FAILED_CURLY_START;        /* }-for-text-editors */
3156
3157   for (;;)
3158     {
3159     while (isspace(*s)) s++;
3160     /* {-for-text-editors */
3161     if (*s == '}') break;
3162     if (*s != '{')                                      /* }-for-text-editors */
3163       {
3164       expand_string_message = string_sprintf("each subcondition "
3165         "inside an \"%s{...}\" condition must be in its own {}", opname);
3166       return NULL;
3167       }
3168
3169     if (!(s = eval_condition(s+1, resetok, subcondptr)))
3170       {
3171       expand_string_message = string_sprintf("%s inside \"%s{...}\" condition",
3172         expand_string_message, opname);
3173       return NULL;
3174       }
3175     while (isspace(*s)) s++;
3176
3177     /* {-for-text-editors */
3178     if (*s++ != '}')
3179       {
3180       /* {-for-text-editors */
3181       expand_string_message = string_sprintf("missing } at end of condition "
3182         "inside \"%s\" group", opname);
3183       return NULL;
3184       }
3185
3186     if (yield != NULL)
3187       {
3188       if (cond_type == ECOND_AND)
3189         {
3190         combined_cond &= tempcond;
3191         if (!combined_cond) subcondptr = NULL;  /* once false, don't */
3192         }                                       /* evaluate any more */
3193       else
3194         {
3195         combined_cond |= tempcond;
3196         if (combined_cond) subcondptr = NULL;   /* once true, don't */
3197         }                                       /* evaluate any more */
3198       }
3199     }
3200
3201   if (yield != NULL) *yield = (combined_cond == testfor);
3202   return ++s;
3203
3204
3205   /* forall/forany: iterates a condition with different values */
3206
3207   case ECOND_FORALL:      is_forany = FALSE;  is_json = FALSE; is_jsons = FALSE; goto FORMANY;
3208   case ECOND_FORANY:      is_forany = TRUE;   is_json = FALSE; is_jsons = FALSE; goto FORMANY;
3209   case ECOND_FORALL_JSON: is_forany = FALSE;  is_json = TRUE;  is_jsons = FALSE; goto FORMANY;
3210   case ECOND_FORANY_JSON: is_forany = TRUE;   is_json = TRUE;  is_jsons = FALSE; goto FORMANY;
3211   case ECOND_FORALL_JSONS: is_forany = FALSE; is_json = TRUE;  is_jsons = TRUE;  goto FORMANY;
3212   case ECOND_FORANY_JSONS: is_forany = TRUE;  is_json = TRUE;  is_jsons = TRUE;  goto FORMANY;
3213
3214   FORMANY:
3215     {
3216     const uschar * list;
3217     int sep = 0;
3218     uschar *save_iterate_item = iterate_item;
3219
3220     DEBUG(D_expand) debug_printf_indent("condition: %s\n", opname);
3221
3222     while (isspace(*s)) s++;
3223     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /* }-for-text-editors */
3224     sub[0] = expand_string_internal(s, TRUE, &s, (yield == NULL), TRUE, resetok);
3225     if (sub[0] == NULL) return NULL;
3226     /* {-for-text-editors */
3227     if (*s++ != '}') goto COND_FAILED_CURLY_END;
3228
3229     while (isspace(*s)) s++;
3230     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /* }-for-text-editors */
3231
3232     sub[1] = s;
3233
3234     /* Call eval_condition once, with result discarded (as if scanning a
3235     "false" part). This allows us to find the end of the condition, because if
3236     the list it empty, we won't actually evaluate the condition for real. */
3237
3238     if (!(s = eval_condition(sub[1], resetok, NULL)))
3239       {
3240       expand_string_message = string_sprintf("%s inside \"%s\" condition",
3241         expand_string_message, opname);
3242       return NULL;
3243       }
3244     while (isspace(*s)) s++;
3245
3246     /* {-for-text-editors */
3247     if (*s++ != '}')
3248       {
3249       /* {-for-text-editors */
3250       expand_string_message = string_sprintf("missing } at end of condition "
3251         "inside \"%s\"", opname);
3252       return NULL;
3253       }
3254
3255     if (yield) *yield = !testfor;
3256     list = sub[0];
3257     if (is_json) list = dewrap(string_copy(list), US"[]");
3258     while ((iterate_item = is_json
3259       ? json_nextinlist(&list) : string_nextinlist(&list, &sep, NULL, 0)))
3260       {
3261       if (is_jsons)
3262         if (!(iterate_item = dewrap(iterate_item, US"\"\"")))
3263           {
3264           expand_string_message =
3265             string_sprintf("%s wrapping string result for extract jsons",
3266               expand_string_message);
3267           iterate_item = save_iterate_item;
3268           return NULL;
3269           }
3270
3271       DEBUG(D_expand) debug_printf_indent("%s: $item = \"%s\"\n", opname, iterate_item);
3272       if (!eval_condition(sub[1], resetok, &tempcond))
3273         {
3274         expand_string_message = string_sprintf("%s inside \"%s\" condition",
3275           expand_string_message, opname);
3276         iterate_item = save_iterate_item;
3277         return NULL;
3278         }
3279       DEBUG(D_expand) debug_printf_indent("%s: condition evaluated to %s\n", opname,
3280         tempcond? "true":"false");
3281
3282       if (yield) *yield = (tempcond == testfor);
3283       if (tempcond == is_forany) break;
3284       }
3285
3286     iterate_item = save_iterate_item;
3287     return s;
3288     }
3289
3290
3291   /* The bool{} expansion condition maps a string to boolean.
3292   The values supported should match those supported by the ACL condition
3293   (acl.c, ACLC_CONDITION) so that we keep to a minimum the different ideas
3294   of true/false.  Note that Router "condition" rules have a different
3295   interpretation, where general data can be used and only a few values
3296   map to FALSE.
3297   Note that readconf.c boolean matching, for boolean configuration options,
3298   only matches true/yes/false/no.
3299   The bool_lax{} condition matches the Router logic, which is much more
3300   liberal. */
3301   case ECOND_BOOL:
3302   case ECOND_BOOL_LAX:
3303     {
3304     uschar *sub_arg[1];
3305     uschar *t, *t2;
3306     uschar *ourname;
3307     size_t len;
3308     BOOL boolvalue = FALSE;
3309     while (isspace(*s)) s++;
3310     if (*s != '{') goto COND_FAILED_CURLY_START;        /* }-for-text-editors */
3311     ourname = cond_type == ECOND_BOOL_LAX ? US"bool_lax" : US"bool";
3312     switch(read_subs(sub_arg, 1, 1, &s, yield == NULL, FALSE, ourname, resetok))
3313       {
3314       case 1: expand_string_message = string_sprintf(
3315                   "too few arguments or bracketing error for %s",
3316                   ourname);
3317       /*FALLTHROUGH*/
3318       case 2:
3319       case 3: return NULL;
3320       }
3321     t = sub_arg[0];
3322     while (isspace(*t)) t++;
3323     len = Ustrlen(t);
3324     if (len)
3325       {
3326       /* trailing whitespace: seems like a good idea to ignore it too */
3327       t2 = t + len - 1;
3328       while (isspace(*t2)) t2--;
3329       if (t2 != (t + len))
3330         {
3331         *++t2 = '\0';
3332         len = t2 - t;
3333         }
3334       }
3335     DEBUG(D_expand)
3336       debug_printf_indent("considering %s: %s\n", ourname, len ? t : US"<empty>");
3337     /* logic for the lax case from expand_check_condition(), which also does
3338     expands, and the logic is both short and stable enough that there should
3339     be no maintenance burden from replicating it. */
3340     if (len == 0)
3341       boolvalue = FALSE;
3342     else if (*t == '-'
3343              ? Ustrspn(t+1, "0123456789") == len-1
3344              : Ustrspn(t,   "0123456789") == len)
3345       {
3346       boolvalue = (Uatoi(t) == 0) ? FALSE : TRUE;
3347       /* expand_check_condition only does a literal string "0" check */
3348       if ((cond_type == ECOND_BOOL_LAX) && (len > 1))
3349         boolvalue = TRUE;
3350       }
3351     else if (strcmpic(t, US"true") == 0 || strcmpic(t, US"yes") == 0)
3352       boolvalue = TRUE;
3353     else if (strcmpic(t, US"false") == 0 || strcmpic(t, US"no") == 0)
3354       boolvalue = FALSE;
3355     else if (cond_type == ECOND_BOOL_LAX)
3356       boolvalue = TRUE;
3357     else
3358       {
3359       expand_string_message = string_sprintf("unrecognised boolean "
3360        "value \"%s\"", t);
3361       return NULL;
3362       }
3363     DEBUG(D_expand) debug_printf_indent("%s: condition evaluated to %s\n", ourname,
3364         boolvalue? "true":"false");
3365     if (yield != NULL) *yield = (boolvalue == testfor);
3366     return s;
3367     }
3368
3369 #ifdef EXPERIMENTAL_SRS_NATIVE
3370   case ECOND_INBOUND_SRS:
3371     /* ${if inbound_srs {local_part}{secret}  {yes}{no}} */
3372     {
3373     uschar * sub[2];
3374     const pcre * re;
3375     int ovec[3*(4+1)];
3376     int n;
3377     uschar cksum[4];
3378     BOOL boolvalue = FALSE;
3379
3380     switch(read_subs(sub, 2, 2, CUSS &s, yield == NULL, FALSE, US"inbound_srs", resetok))
3381       {
3382       case 1: expand_string_message = US"too few arguments or bracketing "
3383         "error for inbound_srs";
3384       case 2:
3385       case 3: return NULL;
3386       }
3387
3388     /* Match the given local_part against the SRS-encoded pattern */
3389
3390     re = regex_must_compile(US"^(?i)SRS0=([^=]+)=([A-Z2-7]+)=([^=]*)=(.*)$",
3391                             TRUE, FALSE);
3392     if (pcre_exec(re, NULL, CS sub[0], Ustrlen(sub[0]), 0, PCRE_EOPT,
3393                   ovec, nelem(ovec)) < 0)
3394       {
3395       DEBUG(D_expand) debug_printf("no match for SRS'd local-part pattern\n");
3396       goto srs_result;
3397       }
3398
3399     /* Side-effect: record the decoded recipient */
3400
3401     srs_recipient = string_sprintf("%.*S@%.*S",                 /* lowercased */
3402                       ovec[9]-ovec[8], sub[0] + ovec[8],        /* substring 4 */
3403                       ovec[7]-ovec[6], sub[0] + ovec[6]);       /* substring 3 */
3404
3405     /* If a zero-length secret was given, we're done.  Otherwise carry on
3406     and validate the given SRS local_part againt our secret. */
3407
3408     if (!*sub[1])
3409       {
3410       boolvalue = TRUE;
3411       goto srs_result;
3412       }
3413
3414     /* check the timestamp */
3415       {
3416       struct timeval now;
3417       uschar * ss = sub[0] + ovec[4];   /* substring 2, the timestamp */
3418       long d;
3419
3420       gettimeofday(&now, NULL);
3421       now.tv_sec /= 86400;              /* days since epoch */
3422
3423       /* Decode substring 2 from base32 to a number */
3424
3425       for (d = 0, n = ovec[5]-ovec[4]; n; n--)
3426         {
3427         uschar * t = Ustrchr(base32_chars, *ss++);
3428         d = d * 32 + (t - base32_chars);
3429         }
3430
3431       if (((now.tv_sec - d) & 0x3ff) > 10)      /* days since SRS generated */
3432         {
3433         DEBUG(D_expand) debug_printf("SRS too old\n");
3434         goto srs_result;
3435         }
3436       }
3437
3438     /* check length of substring 1, the offered checksum */
3439
3440     if (ovec[3]-ovec[2] != 4)
3441       {
3442       DEBUG(D_expand) debug_printf("SRS checksum wrong size\n");
3443       goto srs_result;
3444       }
3445
3446     /* Hash the address with our secret, and compare that computed checksum
3447     with the one extracted from the arg */
3448
3449     hmac_md5(sub[1], srs_recipient, cksum, sizeof(cksum));
3450     if (Ustrncmp(cksum, sub[0] + ovec[2], 4) != 0)
3451       {
3452       DEBUG(D_expand) debug_printf("SRS checksum mismatch\n");
3453       goto srs_result;
3454       }
3455     boolvalue = TRUE;
3456
3457 srs_result:
3458     if (yield) *yield = (boolvalue == testfor);
3459     return s;
3460     }
3461 #endif /*EXPERIMENTAL_SRS_NATIVE*/
3462
3463   /* Unknown condition */
3464
3465   default:
3466     if (!expand_string_message || !*expand_string_message)
3467       expand_string_message = string_sprintf("unknown condition \"%s\"", opname);
3468     return NULL;
3469   }   /* End switch on condition type */
3470
3471 /* Missing braces at start and end of data */
3472
3473 COND_FAILED_CURLY_START:
3474 expand_string_message = string_sprintf("missing { after \"%s\"", opname);
3475 return NULL;
3476
3477 COND_FAILED_CURLY_END:
3478 expand_string_message = string_sprintf("missing } at end of \"%s\" condition",
3479   opname);
3480 return NULL;
3481
3482 /* A condition requires code that is not compiled */
3483
3484 #if !defined(SUPPORT_PAM) || !defined(RADIUS_CONFIG_FILE) || \
3485     !defined(LOOKUP_LDAP) || !defined(CYRUS_PWCHECK_SOCKET) || \
3486     !defined(SUPPORT_CRYPTEQ) || !defined(CYRUS_SASLAUTHD_SOCKET)
3487 COND_FAILED_NOT_COMPILED:
3488 expand_string_message = string_sprintf("support for \"%s\" not compiled",
3489   opname);
3490 return NULL;
3491 #endif
3492 }
3493
3494
3495
3496
3497 /*************************************************
3498 *          Save numerical variables              *
3499 *************************************************/
3500
3501 /* This function is called from items such as "if" that want to preserve and
3502 restore the numbered variables.
3503
3504 Arguments:
3505   save_expand_string    points to an array of pointers to set
3506   save_expand_nlength   points to an array of ints for the lengths
3507
3508 Returns:                the value of expand max to save
3509 */
3510
3511 static int
3512 save_expand_strings(uschar **save_expand_nstring, int *save_expand_nlength)
3513 {
3514 for (int i = 0; i <= expand_nmax; i++)
3515   {
3516   save_expand_nstring[i] = expand_nstring[i];
3517   save_expand_nlength[i] = expand_nlength[i];
3518   }
3519 return expand_nmax;
3520 }
3521
3522
3523
3524 /*************************************************
3525 *           Restore numerical variables          *
3526 *************************************************/
3527
3528 /* This function restored saved values of numerical strings.
3529
3530 Arguments:
3531   save_expand_nmax      the number of strings to restore
3532   save_expand_string    points to an array of pointers
3533   save_expand_nlength   points to an array of ints
3534
3535 Returns:                nothing
3536 */
3537
3538 static void
3539 restore_expand_strings(int save_expand_nmax, uschar **save_expand_nstring,
3540   int *save_expand_nlength)
3541 {
3542 expand_nmax = save_expand_nmax;
3543 for (int i = 0; i <= expand_nmax; i++)
3544   {
3545   expand_nstring[i] = save_expand_nstring[i];
3546   expand_nlength[i] = save_expand_nlength[i];
3547   }
3548 }
3549
3550
3551
3552
3553
3554 /*************************************************
3555 *            Handle yes/no substrings            *
3556 *************************************************/
3557
3558 /* This function is used by ${if}, ${lookup} and ${extract} to handle the
3559 alternative substrings that depend on whether or not the condition was true,
3560 or the lookup or extraction succeeded. The substrings always have to be
3561 expanded, to check their syntax, but "skipping" is set when the result is not
3562 needed - this avoids unnecessary nested lookups.
3563
3564 Arguments:
3565   skipping       TRUE if we were skipping when this item was reached
3566   yes            TRUE if the first string is to be used, else use the second
3567   save_lookup    a value to put back into lookup_value before the 2nd expansion
3568   sptr           points to the input string pointer
3569   yieldptr       points to the output growable-string pointer
3570   type           "lookup", "if", "extract", "run", "env", "listextract" or
3571                  "certextract" for error message
3572   resetok        if not NULL, pointer to flag - write FALSE if unsafe to reset
3573                 the store.
3574
3575 Returns:         0 OK; lookup_value has been reset to save_lookup
3576                  1 expansion failed
3577                  2 expansion failed because of bracketing error
3578 */
3579
3580 static int
3581 process_yesno(BOOL skipping, BOOL yes, uschar *save_lookup, const uschar **sptr,
3582   gstring ** yieldptr, uschar *type, BOOL *resetok)
3583 {
3584 int rc = 0;
3585 const uschar *s = *sptr;    /* Local value */
3586 uschar *sub1, *sub2;
3587 const uschar * errwhere;
3588
3589 /* If there are no following strings, we substitute the contents of $value for
3590 lookups and for extractions in the success case. For the ${if item, the string
3591 "true" is substituted. In the fail case, nothing is substituted for all three
3592 items. */
3593
3594 while (isspace(*s)) s++;
3595 if (*s == '}')
3596   {
3597   if (type[0] == 'i')
3598     {
3599     if (yes && !skipping)
3600       *yieldptr = string_catn(*yieldptr, US"true", 4);
3601     }
3602   else
3603     {
3604     if (yes && lookup_value && !skipping)
3605       *yieldptr = string_cat(*yieldptr, lookup_value);
3606     lookup_value = save_lookup;
3607     }
3608   s++;
3609   goto RETURN;
3610   }
3611
3612 /* The first following string must be braced. */
3613
3614 if (*s++ != '{')
3615   {
3616   errwhere = US"'yes' part did not start with '{'";
3617   goto FAILED_CURLY;
3618   }
3619
3620 /* Expand the first substring. Forced failures are noticed only if we actually
3621 want this string. Set skipping in the call in the fail case (this will always
3622 be the case if we were already skipping). */
3623
3624 sub1 = expand_string_internal(s, TRUE, &s, !yes, TRUE, resetok);
3625 if (sub1 == NULL && (yes || !f.expand_string_forcedfail)) goto FAILED;
3626 f.expand_string_forcedfail = FALSE;
3627 if (*s++ != '}')
3628   {
3629   errwhere = US"'yes' part did not end with '}'";
3630   goto FAILED_CURLY;
3631   }
3632
3633 /* If we want the first string, add it to the output */
3634
3635 if (yes)
3636   *yieldptr = string_cat(*yieldptr, sub1);
3637
3638 /* If this is called from a lookup/env or a (cert)extract, we want to restore
3639 $value to what it was at the start of the item, so that it has this value
3640 during the second string expansion. For the call from "if" or "run" to this
3641 function, save_lookup is set to lookup_value, so that this statement does
3642 nothing. */
3643
3644 lookup_value = save_lookup;
3645
3646 /* There now follows either another substring, or "fail", or nothing. This
3647 time, forced failures are noticed only if we want the second string. We must
3648 set skipping in the nested call if we don't want this string, or if we were
3649 already skipping. */
3650
3651 while (isspace(*s)) s++;
3652 if (*s == '{')
3653   {
3654   sub2 = expand_string_internal(s+1, TRUE, &s, yes || skipping, TRUE, resetok);
3655   if (sub2 == NULL && (!yes || !f.expand_string_forcedfail)) goto FAILED;
3656   f.expand_string_forcedfail = FALSE;
3657   if (*s++ != '}')
3658     {
3659     errwhere = US"'no' part did not start with '{'";
3660     goto FAILED_CURLY;
3661     }
3662
3663   /* If we want the second string, add it to the output */
3664
3665   if (!yes)
3666     *yieldptr = string_cat(*yieldptr, sub2);
3667   }
3668
3669 /* If there is no second string, but the word "fail" is present when the use of
3670 the second string is wanted, set a flag indicating it was a forced failure
3671 rather than a syntactic error. Swallow the terminating } in case this is nested
3672 inside another lookup or if or extract. */
3673
3674 else if (*s != '}')
3675   {
3676   uschar name[256];
3677   /* deconst cast ok here as source is s anyway */
3678   s = US read_name(name, sizeof(name), s, US"_");
3679   if (Ustrcmp(name, "fail") == 0)
3680     {
3681     if (!yes && !skipping)
3682       {
3683       while (isspace(*s)) s++;
3684       if (*s++ != '}')
3685         {
3686         errwhere = US"did not close with '}' after forcedfail";
3687         goto FAILED_CURLY;
3688         }
3689       expand_string_message =
3690         string_sprintf("\"%s\" failed and \"fail\" requested", type);
3691       f.expand_string_forcedfail = TRUE;
3692       goto FAILED;
3693       }
3694     }
3695   else
3696     {
3697     expand_string_message =
3698       string_sprintf("syntax error in \"%s\" item - \"fail\" expected", type);
3699     goto FAILED;
3700     }
3701   }
3702
3703 /* All we have to do now is to check on the final closing brace. */
3704
3705 while (isspace(*s)) s++;
3706 if (*s++ != '}')
3707   {
3708   errwhere = US"did not close with '}'";
3709   goto FAILED_CURLY;
3710   }
3711
3712
3713 RETURN:
3714 /* Update the input pointer value before returning */
3715 *sptr = s;
3716 return rc;
3717
3718 FAILED_CURLY:
3719   /* Get here if there is a bracketing failure */
3720   expand_string_message = string_sprintf(
3721     "curly-bracket problem in conditional yes/no parsing: %s\n"
3722     " remaining string is '%s'", errwhere, --s);
3723   rc = 2;
3724   goto RETURN;
3725
3726 FAILED:
3727   /* Get here for other failures */
3728   rc = 1;
3729   goto RETURN;
3730 }
3731
3732
3733
3734
3735 /********************************************************
3736 * prvs: Get last three digits of days since Jan 1, 1970 *
3737 ********************************************************/
3738
3739 /* This is needed to implement the "prvs" BATV reverse
3740    path signing scheme
3741
3742 Argument: integer "days" offset to add or substract to
3743           or from the current number of days.
3744
3745 Returns:  pointer to string containing the last three
3746           digits of the number of days since Jan 1, 1970,
3747           modified by the offset argument, NULL if there
3748           was an error in the conversion.
3749
3750 */
3751
3752 static uschar *
3753 prvs_daystamp(int day_offset)
3754 {
3755 uschar *days = store_get(32, FALSE);         /* Need at least 24 for cases */
3756 (void)string_format(days, 32, TIME_T_FMT,    /* where TIME_T_FMT is %lld */
3757   (time(NULL) + day_offset*86400)/86400);
3758 return (Ustrlen(days) >= 3) ? &days[Ustrlen(days)-3] : US"100";
3759 }
3760
3761
3762
3763 /********************************************************
3764 *   prvs: perform HMAC-SHA1 computation of prvs bits    *
3765 ********************************************************/
3766
3767 /* This is needed to implement the "prvs" BATV reverse
3768    path signing scheme
3769
3770 Arguments:
3771   address RFC2821 Address to use
3772       key The key to use (must be less than 64 characters
3773           in size)
3774   key_num Single-digit key number to use. Defaults to
3775           '0' when NULL.
3776
3777 Returns:  pointer to string containing the first three
3778           bytes of the final hash in hex format, NULL if
3779           there was an error in the process.
3780 */
3781
3782 static uschar *
3783 prvs_hmac_sha1(uschar *address, uschar *key, uschar *key_num, uschar *daystamp)
3784 {
3785 gstring * hash_source;
3786 uschar * p;
3787 hctx h;
3788 uschar innerhash[20];
3789 uschar finalhash[20];
3790 uschar innerkey[64];
3791 uschar outerkey[64];
3792 uschar *finalhash_hex;
3793
3794 if (key_num == NULL)
3795   key_num = US"0";
3796
3797 if (Ustrlen(key) > 64)
3798   return NULL;
3799
3800 hash_source = string_catn(NULL, key_num, 1);
3801 hash_source = string_catn(hash_source, daystamp, 3);
3802 hash_source = string_cat(hash_source, address);
3803 (void) string_from_gstring(hash_source);
3804
3805 DEBUG(D_expand)
3806   debug_printf_indent("prvs: hash source is '%s'\n", hash_source->s);
3807
3808 memset(innerkey, 0x36, 64);
3809 memset(outerkey, 0x5c, 64);
3810
3811 for (int i = 0; i < Ustrlen(key); i++)
3812   {
3813   innerkey[i] ^= key[i];
3814   outerkey[i] ^= key[i];
3815   }
3816
3817 chash_start(HMAC_SHA1, &h);
3818 chash_mid(HMAC_SHA1, &h, innerkey);
3819 chash_end(HMAC_SHA1, &h, hash_source->s, hash_source->ptr, innerhash);
3820
3821 chash_start(HMAC_SHA1, &h);
3822 chash_mid(HMAC_SHA1, &h, outerkey);
3823 chash_end(HMAC_SHA1, &h, innerhash, 20, finalhash);
3824
3825 /* Hashing is deemed sufficient to de-taint any input data */
3826
3827 p = finalhash_hex = store_get(40, FALSE);
3828 for (int i = 0; i < 3; i++)
3829   {
3830   *p++ = hex_digits[(finalhash[i] & 0xf0) >> 4];
3831   *p++ = hex_digits[finalhash[i] & 0x0f];
3832   }
3833 *p = '\0';
3834
3835 return finalhash_hex;
3836 }
3837
3838
3839
3840
3841 /*************************************************
3842 *        Join a file onto the output string      *
3843 *************************************************/
3844
3845 /* This is used for readfile/readsock and after a run expansion.
3846 It joins the contents of a file onto the output string, globally replacing
3847 newlines with a given string (optionally).
3848
3849 Arguments:
3850   f            the FILE
3851   yield        pointer to the expandable string struct
3852   eol          newline replacement string, or NULL
3853
3854 Returns:       new pointer for expandable string, terminated if non-null
3855 */
3856
3857 static gstring *
3858 cat_file(FILE *f, gstring *yield, uschar *eol)
3859 {
3860 uschar buffer[1024];
3861
3862 while (Ufgets(buffer, sizeof(buffer), f))
3863   {
3864   int len = Ustrlen(buffer);
3865   if (eol && buffer[len-1] == '\n') len--;
3866   yield = string_catn(yield, buffer, len);
3867   if (eol && buffer[len])
3868     yield = string_cat(yield, eol);
3869   }
3870
3871 (void) string_from_gstring(yield);
3872 return yield;
3873 }
3874
3875
3876 #ifndef DISABLE_TLS
3877 static gstring *
3878 cat_file_tls(void * tls_ctx, gstring * yield, uschar * eol)
3879 {
3880 int rc;
3881 uschar buffer[1024];
3882
3883 /*XXX could we read direct into a pre-grown string? */
3884
3885 while ((rc = tls_read(tls_ctx, buffer, sizeof(buffer))) > 0)
3886   for (uschar * s = buffer; rc--; s++)
3887     yield = eol && *s == '\n'
3888       ? string_cat(yield, eol) : string_catn(yield, s, 1);
3889
3890 /* We assume that all errors, and any returns of zero bytes,
3891 are actually EOF. */
3892
3893 (void) string_from_gstring(yield);
3894 return yield;
3895 }
3896 #endif
3897
3898
3899 /*************************************************
3900 *          Evaluate numeric expression           *
3901 *************************************************/
3902
3903 /* This is a set of mutually recursive functions that evaluate an arithmetic
3904 expression involving + - * / % & | ^ ~ << >> and parentheses. The only one of
3905 these functions that is called from elsewhere is eval_expr, whose interface is:
3906
3907 Arguments:
3908   sptr        pointer to the pointer to the string - gets updated
3909   decimal     TRUE if numbers are to be assumed decimal
3910   error       pointer to where to put an error message - must be NULL on input
3911   endket      TRUE if ')' must terminate - FALSE for external call
3912
3913 Returns:      on success: the value of the expression, with *error still NULL
3914               on failure: an undefined value, with *error = a message
3915 */
3916
3917 static int_eximarith_t eval_op_or(uschar **, BOOL, uschar **);
3918
3919
3920 static int_eximarith_t
3921 eval_expr(uschar **sptr, BOOL decimal, uschar **error, BOOL endket)
3922 {
3923 uschar *s = *sptr;
3924 int_eximarith_t x = eval_op_or(&s, decimal, error);
3925
3926 if (!*error)
3927   if (endket)
3928     if (*s != ')')
3929       *error = US"expecting closing parenthesis";
3930     else
3931       while (isspace(*(++s)));
3932   else if (*s)
3933     *error = US"expecting operator";
3934 *sptr = s;
3935 return x;
3936 }
3937
3938
3939 static int_eximarith_t
3940 eval_number(uschar **sptr, BOOL decimal, uschar **error)
3941 {
3942 int c;
3943 int_eximarith_t n;
3944 uschar *s = *sptr;
3945
3946 while (isspace(*s)) s++;
3947 if (isdigit((c = *s)))
3948   {
3949   int count;
3950   (void)sscanf(CS s, (decimal? SC_EXIM_DEC "%n" : SC_EXIM_ARITH "%n"), &n, &count);
3951   s += count;
3952   switch (tolower(*s))
3953     {
3954     default: break;
3955     case 'k': n *= 1024; s++; break;
3956     case 'm': n *= 1024*1024; s++; break;
3957     case 'g': n *= 1024*1024*1024; s++; break;
3958     }
3959   while (isspace (*s)) s++;
3960   }
3961 else if (c == '(')
3962   {
3963   s++;
3964   n = eval_expr(&s, decimal, error, 1);
3965   }
3966 else
3967   {
3968   *error = US"expecting number or opening parenthesis";
3969   n = 0;
3970   }
3971 *sptr = s;
3972 return n;
3973 }
3974
3975
3976 static int_eximarith_t
3977 eval_op_unary(uschar **sptr, BOOL decimal, uschar **error)
3978 {
3979 uschar *s = *sptr;
3980 int_eximarith_t x;
3981 while (isspace(*s)) s++;
3982 if (*s == '+' || *s == '-' || *s == '~')
3983   {
3984   int op = *s++;
3985   x = eval_op_unary(&s, decimal, error);
3986   if (op == '-') x = -x;
3987     else if (op == '~') x = ~x;
3988   }
3989 else
3990   x = eval_number(&s, decimal, error);
3991
3992 *sptr = s;
3993 return x;
3994 }
3995
3996
3997 static int_eximarith_t
3998 eval_op_mult(uschar **sptr, BOOL decimal, uschar **error)
3999 {
4000 uschar *s = *sptr;
4001 int_eximarith_t x = eval_op_unary(&s, decimal, error);
4002 if (*error == NULL)
4003   {
4004   while (*s == '*' || *s == '/' || *s == '%')
4005     {
4006     int op = *s++;
4007     int_eximarith_t y = eval_op_unary(&s, decimal, error);
4008     if (*error != NULL) break;
4009     /* SIGFPE both on div/mod by zero and on INT_MIN / -1, which would give
4010      * a value of INT_MAX+1. Note that INT_MIN * -1 gives INT_MIN for me, which
4011      * is a bug somewhere in [gcc 4.2.1, FreeBSD, amd64].  In fact, -N*-M where
4012      * -N*M is INT_MIN will yield INT_MIN.
4013      * Since we don't support floating point, this is somewhat simpler.
4014      * Ideally, we'd return an error, but since we overflow for all other
4015      * arithmetic, consistency suggests otherwise, but what's the correct value
4016      * to use?  There is none.
4017      * The C standard guarantees overflow for unsigned arithmetic but signed
4018      * overflow invokes undefined behaviour; in practice, this is overflow
4019      * except for converting INT_MIN to INT_MAX+1.  We also can't guarantee
4020      * that long/longlong larger than int are available, or we could just work
4021      * with larger types.  We should consider whether to guarantee 32bit eval
4022      * and 64-bit working variables, with errors returned.  For now ...
4023      * So, the only SIGFPEs occur with a non-shrinking div/mod, thus -1; we
4024      * can just let the other invalid results occur otherwise, as they have
4025      * until now.  For this one case, we can coerce.
4026      */
4027     if (y == -1 && x == EXIM_ARITH_MIN && op != '*')
4028       {
4029       DEBUG(D_expand)
4030         debug_printf("Integer exception dodging: " PR_EXIM_ARITH "%c-1 coerced to " PR_EXIM_ARITH "\n",
4031             EXIM_ARITH_MIN, op, EXIM_ARITH_MAX);
4032       x = EXIM_ARITH_MAX;
4033       continue;
4034       }
4035     if (op == '*')
4036       x *= y;
4037     else
4038       {
4039       if (y == 0)
4040         {
4041         *error = (op == '/') ? US"divide by zero" : US"modulo by zero";
4042         x = 0;
4043         break;
4044         }
4045       if (op == '/')
4046         x /= y;
4047       else
4048         x %= y;
4049       }
4050     }
4051   }
4052 *sptr = s;
4053 return x;
4054 }
4055
4056
4057 static int_eximarith_t
4058 eval_op_sum(uschar **sptr, BOOL decimal, uschar **error)
4059 {
4060 uschar *s = *sptr;
4061 int_eximarith_t x = eval_op_mult(&s, decimal, error);
4062 if (!*error)
4063   {
4064   while (*s == '+' || *s == '-')
4065     {
4066     int op = *s++;
4067     int_eximarith_t y = eval_op_mult(&s, decimal, error);
4068     if (*error) break;
4069     if (  (x >=   EXIM_ARITH_MAX/2  && x >=   EXIM_ARITH_MAX/2)
4070        || (x <= -(EXIM_ARITH_MAX/2) && y <= -(EXIM_ARITH_MAX/2)))
4071       {                 /* over-conservative check */
4072       *error = op == '+'
4073         ? US"overflow in sum" : US"overflow in difference";
4074       break;
4075       }
4076     if (op == '+') x += y; else x -= y;
4077     }
4078   }
4079 *sptr = s;
4080 return x;
4081 }
4082
4083
4084 static int_eximarith_t
4085 eval_op_shift(uschar **sptr, BOOL decimal, uschar **error)
4086 {
4087 uschar *s = *sptr;
4088 int_eximarith_t x = eval_op_sum(&s, decimal, error);
4089 if (*error == NULL)
4090   {
4091   while ((*s == '<' || *s == '>') && s[1] == s[0])
4092     {
4093     int_eximarith_t y;
4094     int op = *s++;
4095     s++;
4096     y = eval_op_sum(&s, decimal, error);
4097     if (*error != NULL) break;
4098     if (op == '<') x <<= y; else x >>= y;
4099     }
4100   }
4101 *sptr = s;
4102 return x;
4103 }
4104
4105
4106 static int_eximarith_t
4107 eval_op_and(uschar **sptr, BOOL decimal, uschar **error)
4108 {
4109 uschar *s = *sptr;
4110 int_eximarith_t x = eval_op_shift(&s, decimal, error);
4111 if (*error == NULL)
4112   {
4113   while (*s == '&')
4114     {
4115     int_eximarith_t y;
4116     s++;
4117     y = eval_op_shift(&s, decimal, error);
4118     if (*error != NULL) break;
4119     x &= y;
4120     }
4121   }
4122 *sptr = s;
4123 return x;
4124 }
4125
4126
4127 static int_eximarith_t
4128 eval_op_xor(uschar **sptr, BOOL decimal, uschar **error)
4129 {
4130 uschar *s = *sptr;
4131 int_eximarith_t x = eval_op_and(&s, decimal, error);
4132 if (*error == NULL)
4133   {
4134   while (*s == '^')
4135     {
4136     int_eximarith_t y;
4137     s++;
4138     y = eval_op_and(&s, decimal, error);
4139     if (*error != NULL) break;
4140     x ^= y;
4141     }
4142   }
4143 *sptr = s;
4144 return x;
4145 }
4146
4147
4148 static int_eximarith_t
4149 eval_op_or(uschar **sptr, BOOL decimal, uschar **error)
4150 {
4151 uschar *s = *sptr;
4152 int_eximarith_t x = eval_op_xor(&s, decimal, error);
4153 if (*error == NULL)
4154   {
4155   while (*s == '|')
4156     {
4157     int_eximarith_t y;
4158     s++;
4159     y = eval_op_xor(&s, decimal, error);
4160     if (*error != NULL) break;
4161     x |= y;
4162     }
4163   }
4164 *sptr = s;
4165 return x;
4166 }
4167
4168
4169
4170 /************************************************/
4171 /* Comparison operation for sort expansion.  We need to avoid
4172 re-expanding the fields being compared, so need a custom routine.
4173
4174 Arguments:
4175  cond_type              Comparison operator code
4176  leftarg, rightarg      Arguments for comparison
4177
4178 Return true iff (leftarg compare rightarg)
4179 */
4180
4181 static BOOL
4182 sortsbefore(int cond_type, BOOL alpha_cond,
4183   const uschar * leftarg, const uschar * rightarg)
4184 {
4185 int_eximarith_t l_num, r_num;
4186
4187 if (!alpha_cond)
4188   {
4189   l_num = expanded_string_integer(leftarg, FALSE);
4190   if (expand_string_message) return FALSE;
4191   r_num = expanded_string_integer(rightarg, FALSE);
4192   if (expand_string_message) return FALSE;
4193
4194   switch (cond_type)
4195     {
4196     case ECOND_NUM_G:   return l_num >  r_num;
4197     case ECOND_NUM_GE:  return l_num >= r_num;
4198     case ECOND_NUM_L:   return l_num <  r_num;
4199     case ECOND_NUM_LE:  return l_num <= r_num;
4200     default: break;
4201     }
4202   }
4203 else
4204   switch (cond_type)
4205     {
4206     case ECOND_STR_LT:  return Ustrcmp (leftarg, rightarg) <  0;
4207     case ECOND_STR_LTI: return strcmpic(leftarg, rightarg) <  0;
4208     case ECOND_STR_LE:  return Ustrcmp (leftarg, rightarg) <= 0;
4209     case ECOND_STR_LEI: return strcmpic(leftarg, rightarg) <= 0;
4210     case ECOND_STR_GT:  return Ustrcmp (leftarg, rightarg) >  0;
4211     case ECOND_STR_GTI: return strcmpic(leftarg, rightarg) >  0;
4212     case ECOND_STR_GE:  return Ustrcmp (leftarg, rightarg) >= 0;
4213     case ECOND_STR_GEI: return strcmpic(leftarg, rightarg) >= 0;
4214     default: break;
4215     }
4216 return FALSE;   /* should not happen */
4217 }
4218
4219
4220 /*************************************************
4221 *                 Expand string                  *
4222 *************************************************/
4223
4224 /* Returns either an unchanged string, or the expanded string in stacking pool
4225 store. Interpreted sequences are:
4226
4227    \...                    normal escaping rules
4228    $name                   substitutes the variable
4229    ${name}                 ditto
4230    ${op:string}            operates on the expanded string value
4231    ${item{arg1}{arg2}...}  expands the args and then does the business
4232                              some literal args are not enclosed in {}
4233
4234 There are now far too many operators and item types to make it worth listing
4235 them here in detail any more.
4236
4237 We use an internal routine recursively to handle embedded substrings. The
4238 external function follows. The yield is NULL if the expansion failed, and there
4239 are two cases: if something collapsed syntactically, or if "fail" was given
4240 as the action on a lookup failure. These can be distinguished by looking at the
4241 variable expand_string_forcedfail, which is TRUE in the latter case.
4242
4243 The skipping flag is set true when expanding a substring that isn't actually
4244 going to be used (after "if" or "lookup") and it prevents lookups from
4245 happening lower down.
4246
4247 Store usage: At start, a store block of the length of the input plus 64
4248 is obtained. This is expanded as necessary by string_cat(), which might have to
4249 get a new block, or might be able to expand the original. At the end of the
4250 function we can release any store above that portion of the yield block that
4251 was actually used. In many cases this will be optimal.
4252
4253 However: if the first item in the expansion is a variable name or header name,
4254 we reset the store before processing it; if the result is in fresh store, we
4255 use that without copying. This is helpful for expanding strings like
4256 $message_headers which can get very long.
4257
4258 There's a problem if a ${dlfunc item has side-effects that cause allocation,
4259 since resetting the store at the end of the expansion will free store that was
4260 allocated by the plugin code as well as the slop after the expanded string. So
4261 we skip any resets if ${dlfunc } has been used. The same applies for ${acl }
4262 and, given the acl condition, ${if }. This is an unfortunate consequence of
4263 string expansion becoming too powerful.
4264
4265 Arguments:
4266   string         the string to be expanded
4267   ket_ends       true if expansion is to stop at }
4268   left           if not NULL, a pointer to the first character after the
4269                  expansion is placed here (typically used with ket_ends)
4270   skipping       TRUE for recursive calls when the value isn't actually going
4271                  to be used (to allow for optimisation)
4272   honour_dollar  TRUE if $ is to be expanded,
4273                  FALSE if it's just another character
4274   resetok_p      if not NULL, pointer to flag - write FALSE if unsafe to reset
4275                  the store.
4276
4277 Returns:         NULL if expansion fails:
4278                    expand_string_forcedfail is set TRUE if failure was forced
4279                    expand_string_message contains a textual error message
4280                  a pointer to the expanded string on success
4281 */
4282
4283 static uschar *
4284 expand_string_internal(const uschar *string, BOOL ket_ends, const uschar **left,
4285   BOOL skipping, BOOL honour_dollar, BOOL *resetok_p)
4286 {
4287 rmark reset_point = store_mark();
4288 gstring * yield = string_get(Ustrlen(string) + 64);
4289 int item_type;
4290 const uschar *s = string;
4291 uschar *save_expand_nstring[EXPAND_MAXN+1];
4292 int save_expand_nlength[EXPAND_MAXN+1];
4293 BOOL resetok = TRUE;
4294
4295 expand_level++;
4296 DEBUG(D_expand)
4297   DEBUG(D_noutf8)
4298     debug_printf_indent("/%s: %s\n",
4299       skipping ? "---scanning" : "considering", string);
4300   else
4301     debug_printf_indent(UTF8_DOWN_RIGHT "%s: %s\n",
4302       skipping
4303       ? UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ "scanning"
4304       : "considering",
4305       string);
4306
4307 f.expand_string_forcedfail = FALSE;
4308 expand_string_message = US"";
4309
4310 if (is_tainted(string))
4311   {
4312   expand_string_message =
4313     string_sprintf("attempt to expand tainted string '%s'", s);
4314   log_write(0, LOG_MAIN|LOG_PANIC, "%s", expand_string_message);
4315   goto EXPAND_FAILED;
4316   }
4317
4318 while (*s != 0)
4319   {
4320   uschar *value;
4321   uschar name[256];
4322
4323   /* \ escapes the next character, which must exist, or else
4324   the expansion fails. There's a special escape, \N, which causes
4325   copying of the subject verbatim up to the next \N. Otherwise,
4326   the escapes are the standard set. */
4327
4328   if (*s == '\\')
4329     {
4330     if (s[1] == 0)
4331       {
4332       expand_string_message = US"\\ at end of string";
4333       goto EXPAND_FAILED;
4334       }
4335
4336     if (s[1] == 'N')
4337       {
4338       const uschar * t = s + 2;
4339       for (s = t; *s != 0; s++) if (*s == '\\' && s[1] == 'N') break;
4340       yield = string_catn(yield, t, s - t);
4341       if (*s != 0) s += 2;
4342       }
4343
4344     else
4345       {
4346       uschar ch[1];
4347       ch[0] = string_interpret_escape(&s);
4348       s++;
4349       yield = string_catn(yield, ch, 1);
4350       }
4351
4352     continue;
4353     }
4354
4355   /*{*/
4356   /* Anything other than $ is just copied verbatim, unless we are
4357   looking for a terminating } character. */
4358
4359   /*{*/
4360   if (ket_ends && *s == '}') break;
4361
4362   if (*s != '$' || !honour_dollar)
4363     {
4364     yield = string_catn(yield, s++, 1);
4365     continue;
4366     }
4367
4368   /* No { after the $ - must be a plain name or a number for string
4369   match variable. There has to be a fudge for variables that are the
4370   names of header fields preceded by "$header_" because header field
4371   names can contain any printing characters except space and colon.
4372   For those that don't like typing this much, "$h_" is a synonym for
4373   "$header_". A non-existent header yields a NULL value; nothing is
4374   inserted. */  /*}*/
4375
4376   if (isalpha((*(++s))))
4377     {
4378     int len;
4379     int newsize = 0;
4380     gstring * g = NULL;
4381     uschar * t;
4382
4383     s = read_name(name, sizeof(name), s, US"_");
4384
4385     /* If this is the first thing to be expanded, release the pre-allocated
4386     buffer. */
4387
4388     if (!yield)
4389       g = store_get(sizeof(gstring), FALSE);
4390     else if (yield->ptr == 0)
4391       {
4392       if (resetok) reset_point = store_reset(reset_point);
4393       yield = NULL;
4394       reset_point = store_mark();
4395       g = store_get(sizeof(gstring), FALSE);    /* alloc _before_ calling find_variable() */
4396       }
4397
4398     /* Header */
4399
4400     if (  ( *(t = name) == 'h'
4401           || (*t == 'r' || *t == 'l' || *t == 'b') && *++t == 'h'
4402           )
4403        && (*++t == '_' || Ustrncmp(t, "eader_", 6) == 0)
4404        )
4405       {
4406       unsigned flags = *name == 'r' ? FH_WANT_RAW
4407                       : *name == 'l' ? FH_WANT_RAW|FH_WANT_LIST
4408                       : 0;
4409       uschar * charset = *name == 'b' ? NULL : headers_charset;
4410
4411       s = read_header_name(name, sizeof(name), s);
4412       value = find_header(name, &newsize, flags, charset);
4413
4414       /* If we didn't find the header, and the header contains a closing brace
4415       character, this may be a user error where the terminating colon
4416       has been omitted. Set a flag to adjust the error message in this case.
4417       But there is no error here - nothing gets inserted. */
4418
4419       if (!value)
4420         {
4421         if (Ustrchr(name, '}') != NULL) malformed_header = TRUE;
4422         continue;
4423         }
4424       }
4425
4426     /* Variable */
4427
4428     else if (!(value = find_variable(name, FALSE, skipping, &newsize)))
4429       {
4430       expand_string_message =
4431         string_sprintf("unknown variable name \"%s\"", name);
4432         check_variable_error_message(name);
4433       goto EXPAND_FAILED;
4434       }
4435
4436     /* If the data is known to be in a new buffer, newsize will be set to the
4437     size of that buffer. If this is the first thing in an expansion string,
4438     yield will be NULL; just point it at the new store instead of copying. Many
4439     expansion strings contain just one reference, so this is a useful
4440     optimization, especially for humungous headers.  We need to use a gstring
4441     structure that is not allocated after that new-buffer, else a later store
4442     reset in the middle of the buffer will make it inaccessible. */
4443
4444     len = Ustrlen(value);
4445     if (!yield && newsize != 0)
4446       {
4447       yield = g;
4448       yield->size = newsize;
4449       yield->ptr = len;
4450       yield->s = value;
4451       }
4452     else
4453       yield = string_catn(yield, value, len);
4454
4455     continue;
4456     }
4457
4458   if (isdigit(*s))
4459     {
4460     int n;
4461     s = read_cnumber(&n, s);
4462     if (n >= 0 && n <= expand_nmax)
4463       yield = string_catn(yield, expand_nstring[n], expand_nlength[n]);
4464     continue;
4465     }
4466
4467   /* Otherwise, if there's no '{' after $ it's an error. */             /*}*/
4468
4469   if (*s != '{')                                                        /*}*/
4470     {
4471     expand_string_message = US"$ not followed by letter, digit, or {";  /*}*/
4472     goto EXPAND_FAILED;
4473     }
4474
4475   /* After { there can be various things, but they all start with
4476   an initial word, except for a number for a string match variable. */
4477
4478   if (isdigit((*(++s))))
4479     {
4480     int n;
4481     s = read_cnumber(&n, s);            /*{*/
4482     if (*s++ != '}')
4483       {                                 /*{*/
4484       expand_string_message = US"} expected after number";
4485       goto EXPAND_FAILED;
4486       }
4487     if (n >= 0 && n <= expand_nmax)
4488       yield = string_catn(yield, expand_nstring[n], expand_nlength[n]);
4489     continue;
4490     }
4491
4492   if (!isalpha(*s))
4493     {
4494     expand_string_message = US"letter or digit expected after ${";      /*}*/
4495     goto EXPAND_FAILED;
4496     }
4497
4498   /* Allow "-" in names to cater for substrings with negative
4499   arguments. Since we are checking for known names after { this is
4500   OK. */
4501
4502   s = read_name(name, sizeof(name), s, US"_-");
4503   item_type = chop_match(name, item_table, nelem(item_table));
4504
4505   switch(item_type)
4506     {
4507     /* Call an ACL from an expansion.  We feed data in via $acl_arg1 - $acl_arg9.
4508     If the ACL returns accept or reject we return content set by "message ="
4509     There is currently no limit on recursion; this would have us call
4510     acl_check_internal() directly and get a current level from somewhere.
4511     See also the acl expansion condition ECOND_ACL and the traditional
4512     acl modifier ACLC_ACL.
4513     Assume that the function has side-effects on the store that must be preserved.
4514     */
4515
4516     case EITEM_ACL:
4517       /* ${acl {name} {arg1}{arg2}...} */
4518       {
4519       uschar *sub[10];  /* name + arg1-arg9 (which must match number of acl_arg[]) */
4520       uschar *user_msg;
4521       int rc;
4522
4523       switch(read_subs(sub, nelem(sub), 1, &s, skipping, TRUE, US"acl",
4524                       &resetok))
4525         {
4526         case 1: goto EXPAND_FAILED_CURLY;
4527         case 2:
4528         case 3: goto EXPAND_FAILED;
4529         }
4530       if (skipping) continue;
4531
4532       resetok = FALSE;
4533       switch(rc = eval_acl(sub, nelem(sub), &user_msg))
4534         {
4535         case OK:
4536         case FAIL:
4537           DEBUG(D_expand)
4538             debug_printf_indent("acl expansion yield: %s\n", user_msg);
4539           if (user_msg)
4540             yield = string_cat(yield, user_msg);
4541           continue;
4542
4543         case DEFER:
4544           f.expand_string_forcedfail = TRUE;
4545           /*FALLTHROUGH*/
4546         default:
4547           expand_string_message = string_sprintf("%s from acl \"%s\"",
4548             rc_names[rc], sub[0]);
4549           goto EXPAND_FAILED;
4550         }
4551       }
4552
4553     case EITEM_AUTHRESULTS:
4554       /* ${authresults {mysystemname}} */
4555       {
4556       uschar *sub_arg[1];
4557
4558       switch(read_subs(sub_arg, nelem(sub_arg), 1, &s, skipping, TRUE, name,
4559                       &resetok))
4560         {
4561         case 1: goto EXPAND_FAILED_CURLY;
4562         case 2:
4563         case 3: goto EXPAND_FAILED;
4564         }
4565
4566       yield = string_append(yield, 3,
4567                         US"Authentication-Results: ", sub_arg[0], US"; none");
4568       yield->ptr -= 6;
4569
4570       yield = authres_local(yield, sub_arg[0]);
4571       yield = authres_iprev(yield);
4572       yield = authres_smtpauth(yield);
4573 #ifdef SUPPORT_SPF
4574       yield = authres_spf(yield);
4575 #endif
4576 #ifndef DISABLE_DKIM
4577       yield = authres_dkim(yield);
4578 #endif
4579 #ifdef SUPPORT_DMARC
4580       yield = authres_dmarc(yield);
4581 #endif
4582 #ifdef EXPERIMENTAL_ARC
4583       yield = authres_arc(yield);
4584 #endif
4585       continue;
4586       }
4587
4588     /* Handle conditionals - preserve the values of the numerical expansion
4589     variables in case they get changed by a regular expression match in the
4590     condition. If not, they retain their external settings. At the end
4591     of this "if" section, they get restored to their previous values. */
4592
4593     case EITEM_IF:
4594       {
4595       BOOL cond = FALSE;
4596       const uschar *next_s;
4597       int save_expand_nmax =
4598         save_expand_strings(save_expand_nstring, save_expand_nlength);
4599
4600       while (isspace(*s)) s++;
4601       next_s = eval_condition(s, &resetok, skipping ? NULL : &cond);
4602       if (next_s == NULL) goto EXPAND_FAILED;  /* message already set */
4603
4604       DEBUG(D_expand)
4605         DEBUG(D_noutf8)
4606           {
4607           debug_printf_indent("|--condition: %.*s\n", (int)(next_s - s), s);
4608           debug_printf_indent("|-----result: %s\n", cond ? "true" : "false");
4609           }
4610         else
4611           {
4612           debug_printf_indent(UTF8_VERT_RIGHT UTF8_HORIZ UTF8_HORIZ
4613             "condition: %.*s\n",
4614             (int)(next_s - s), s);
4615           debug_printf_indent(UTF8_VERT_RIGHT UTF8_HORIZ UTF8_HORIZ
4616             UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ
4617             "result: %s\n",
4618             cond ? "true" : "false");
4619           }
4620
4621       s = next_s;
4622
4623       /* The handling of "yes" and "no" result strings is now in a separate
4624       function that is also used by ${lookup} and ${extract} and ${run}. */
4625
4626       switch(process_yesno(
4627                skipping,                     /* were previously skipping */
4628                cond,                         /* success/failure indicator */
4629                lookup_value,                 /* value to reset for string2 */
4630                &s,                           /* input pointer */
4631                &yield,                       /* output pointer */
4632                US"if",                       /* condition type */
4633                &resetok))
4634         {
4635         case 1: goto EXPAND_FAILED;          /* when all is well, the */
4636         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
4637         }
4638
4639       /* Restore external setting of expansion variables for continuation
4640       at this level. */
4641
4642       restore_expand_strings(save_expand_nmax, save_expand_nstring,
4643         save_expand_nlength);
4644       continue;
4645       }
4646
4647 #ifdef SUPPORT_I18N
4648     case EITEM_IMAPFOLDER:
4649       {                         /* ${imapfolder {name}{sep]{specials}} */
4650       uschar *sub_arg[3];
4651       uschar *encoded;
4652
4653       switch(read_subs(sub_arg, nelem(sub_arg), 1, &s, skipping, TRUE, name,
4654                       &resetok))
4655         {
4656         case 1: goto EXPAND_FAILED_CURLY;
4657         case 2:
4658         case 3: goto EXPAND_FAILED;
4659         }
4660
4661       if (sub_arg[1] == NULL)           /* One argument */
4662         {
4663         sub_arg[1] = US"/";             /* default separator */
4664         sub_arg[2] = NULL;
4665         }
4666       else if (Ustrlen(sub_arg[1]) != 1)
4667         {
4668         expand_string_message =
4669           string_sprintf(
4670                 "IMAP folder separator must be one character, found \"%s\"",
4671                 sub_arg[1]);
4672         goto EXPAND_FAILED;
4673         }
4674
4675       if (!skipping)
4676         {
4677         if (!(encoded = imap_utf7_encode(sub_arg[0], headers_charset,
4678                             sub_arg[1][0], sub_arg[2], &expand_string_message)))
4679           goto EXPAND_FAILED;
4680         yield = string_cat(yield, encoded);
4681         }
4682       continue;
4683       }
4684 #endif
4685
4686     /* Handle database lookups unless locked out. If "skipping" is TRUE, we are
4687     expanding an internal string that isn't actually going to be used. All we
4688     need to do is check the syntax, so don't do a lookup at all. Preserve the
4689     values of the numerical expansion variables in case they get changed by a
4690     partial lookup. If not, they retain their external settings. At the end
4691     of this "lookup" section, they get restored to their previous values. */
4692
4693     case EITEM_LOOKUP:
4694       {
4695       int stype, partial, affixlen, starflags;
4696       int expand_setup = 0;
4697       int nameptr = 0;
4698       uschar *key, *filename;
4699       const uschar *affix;
4700       uschar *save_lookup_value = lookup_value;
4701       int save_expand_nmax =
4702         save_expand_strings(save_expand_nstring, save_expand_nlength);
4703
4704       if ((expand_forbid & RDO_LOOKUP) != 0)
4705         {
4706         expand_string_message = US"lookup expansions are not permitted";
4707         goto EXPAND_FAILED;
4708         }
4709
4710       /* Get the key we are to look up for single-key+file style lookups.
4711       Otherwise set the key NULL pro-tem. */
4712
4713       while (isspace(*s)) s++;
4714       if (*s == '{')                                    /*}*/
4715         {
4716         key = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
4717         if (!key) goto EXPAND_FAILED;                   /*{{*/
4718         if (*s++ != '}')
4719           {
4720           expand_string_message = US"missing '}' after lookup key";
4721           goto EXPAND_FAILED_CURLY;
4722           }
4723         while (isspace(*s)) s++;
4724         }
4725       else key = NULL;
4726
4727       /* Find out the type of database */
4728
4729       if (!isalpha(*s))
4730         {
4731         expand_string_message = US"missing lookup type";
4732         goto EXPAND_FAILED;
4733         }
4734
4735       /* The type is a string that may contain special characters of various
4736       kinds. Allow everything except space or { to appear; the actual content
4737       is checked by search_findtype_partial. */         /*}*/
4738
4739       while (*s != 0 && *s != '{' && !isspace(*s))      /*}*/
4740         {
4741         if (nameptr < sizeof(name) - 1) name[nameptr++] = *s;
4742         s++;
4743         }
4744       name[nameptr] = 0;
4745       while (isspace(*s)) s++;
4746
4747       /* Now check for the individual search type and any partial or default
4748       options. Only those types that are actually in the binary are valid. */
4749
4750       stype = search_findtype_partial(name, &partial, &affix, &affixlen,
4751         &starflags);
4752       if (stype < 0)
4753         {
4754         expand_string_message = search_error_message;
4755         goto EXPAND_FAILED;
4756         }
4757
4758       /* Check that a key was provided for those lookup types that need it,
4759       and was not supplied for those that use the query style. */
4760
4761       if (!mac_islookup(stype, lookup_querystyle|lookup_absfilequery))
4762         {
4763         if (key == NULL)
4764           {
4765           expand_string_message = string_sprintf("missing {key} for single-"
4766             "key \"%s\" lookup", name);
4767           goto EXPAND_FAILED;
4768           }
4769         }
4770       else
4771         {
4772         if (key != NULL)
4773           {
4774           expand_string_message = string_sprintf("a single key was given for "
4775             "lookup type \"%s\", which is not a single-key lookup type", name);
4776           goto EXPAND_FAILED;
4777           }
4778         }
4779
4780       /* Get the next string in brackets and expand it. It is the file name for
4781       single-key+file lookups, and the whole query otherwise. In the case of
4782       queries that also require a file name (e.g. sqlite), the file name comes
4783       first. */
4784
4785       if (*s != '{')
4786         {
4787         expand_string_message = US"missing '{' for lookup file-or-query arg";
4788         goto EXPAND_FAILED_CURLY;
4789         }
4790       filename = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
4791       if (filename == NULL) goto EXPAND_FAILED;
4792       if (*s++ != '}')
4793         {
4794         expand_string_message = US"missing '}' closing lookup file-or-query arg";
4795         goto EXPAND_FAILED_CURLY;
4796         }
4797       while (isspace(*s)) s++;
4798
4799       /* If this isn't a single-key+file lookup, re-arrange the variables
4800       to be appropriate for the search_ functions. For query-style lookups,
4801       there is just a "key", and no file name. For the special query-style +
4802       file types, the query (i.e. "key") starts with a file name. */
4803
4804       if (!key)
4805         {
4806         while (isspace(*filename)) filename++;
4807         key = filename;
4808
4809         if (mac_islookup(stype, lookup_querystyle))
4810           filename = NULL;
4811         else
4812           {
4813           if (*filename != '/')
4814             {
4815             expand_string_message = string_sprintf(
4816               "absolute file name expected for \"%s\" lookup", name);
4817             goto EXPAND_FAILED;
4818             }
4819           while (*key != 0 && !isspace(*key)) key++;
4820           if (*key != 0) *key++ = 0;
4821           }
4822         }
4823
4824       /* If skipping, don't do the next bit - just lookup_value == NULL, as if
4825       the entry was not found. Note that there is no search_close() function.
4826       Files are left open in case of re-use. At suitable places in higher logic,
4827       search_tidyup() is called to tidy all open files. This can save opening
4828       the same file several times. However, files may also get closed when
4829       others are opened, if too many are open at once. The rule is that a
4830       handle should not be used after a second search_open().
4831
4832       Request that a partial search sets up $1 and maybe $2 by passing
4833       expand_setup containing zero. If its value changes, reset expand_nmax,
4834       since new variables will have been set. Note that at the end of this
4835       "lookup" section, the old numeric variables are restored. */
4836
4837       if (skipping)
4838         lookup_value = NULL;
4839       else
4840         {
4841         void *handle = search_open(filename, stype, 0, NULL, NULL);
4842         if (handle == NULL)
4843           {
4844           expand_string_message = search_error_message;
4845           goto EXPAND_FAILED;
4846           }
4847         lookup_value = search_find(handle, filename, key, partial, affix,
4848           affixlen, starflags, &expand_setup);
4849         if (f.search_find_defer)
4850           {
4851           expand_string_message =
4852             string_sprintf("lookup of \"%s\" gave DEFER: %s",
4853               string_printing2(key, FALSE), search_error_message);
4854           goto EXPAND_FAILED;
4855           }
4856         if (expand_setup > 0) expand_nmax = expand_setup;
4857         }
4858
4859       /* The handling of "yes" and "no" result strings is now in a separate
4860       function that is also used by ${if} and ${extract}. */
4861
4862       switch(process_yesno(
4863                skipping,                     /* were previously skipping */
4864                lookup_value != NULL,         /* success/failure indicator */
4865                save_lookup_value,            /* value to reset for string2 */
4866                &s,                           /* input pointer */
4867                &yield,                       /* output pointer */
4868                US"lookup",                   /* condition type */
4869                &resetok))
4870         {
4871         case 1: goto EXPAND_FAILED;          /* when all is well, the */
4872         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
4873         }
4874
4875       /* Restore external setting of expansion variables for carrying on
4876       at this level, and continue. */
4877
4878       restore_expand_strings(save_expand_nmax, save_expand_nstring,
4879         save_expand_nlength);
4880       continue;
4881       }
4882
4883     /* If Perl support is configured, handle calling embedded perl subroutines,
4884     unless locked out at this time. Syntax is ${perl{sub}} or ${perl{sub}{arg}}
4885     or ${perl{sub}{arg1}{arg2}} or up to a maximum of EXIM_PERL_MAX_ARGS
4886     arguments (defined below). */
4887
4888     #define EXIM_PERL_MAX_ARGS 8
4889
4890     case EITEM_PERL:
4891     #ifndef EXIM_PERL
4892     expand_string_message = US"\"${perl\" encountered, but this facility "      /*}*/
4893       "is not included in this binary";
4894     goto EXPAND_FAILED;
4895
4896     #else   /* EXIM_PERL */
4897       {
4898       uschar *sub_arg[EXIM_PERL_MAX_ARGS + 2];
4899       gstring *new_yield;
4900
4901       if ((expand_forbid & RDO_PERL) != 0)
4902         {
4903         expand_string_message = US"Perl calls are not permitted";
4904         goto EXPAND_FAILED;
4905         }
4906
4907       switch(read_subs(sub_arg, EXIM_PERL_MAX_ARGS + 1, 1, &s, skipping, TRUE,
4908            US"perl", &resetok))
4909         {
4910         case 1: goto EXPAND_FAILED_CURLY;
4911         case 2:
4912         case 3: goto EXPAND_FAILED;
4913         }
4914
4915       /* If skipping, we don't actually do anything */
4916
4917       if (skipping) continue;
4918
4919       /* Start the interpreter if necessary */
4920
4921       if (!opt_perl_started)
4922         {
4923         uschar *initerror;
4924         if (opt_perl_startup == NULL)
4925           {
4926           expand_string_message = US"A setting of perl_startup is needed when "
4927             "using the Perl interpreter";
4928           goto EXPAND_FAILED;
4929           }
4930         DEBUG(D_any) debug_printf("Starting Perl interpreter\n");
4931         initerror = init_perl(opt_perl_startup);
4932         if (initerror != NULL)
4933           {
4934           expand_string_message =
4935             string_sprintf("error in perl_startup code: %s\n", initerror);
4936           goto EXPAND_FAILED;
4937           }
4938         opt_perl_started = TRUE;
4939         }
4940
4941       /* Call the function */
4942
4943       sub_arg[EXIM_PERL_MAX_ARGS + 1] = NULL;
4944       new_yield = call_perl_cat(yield, &expand_string_message,
4945         sub_arg[0], sub_arg + 1);
4946
4947       /* NULL yield indicates failure; if the message pointer has been set to
4948       NULL, the yield was undef, indicating a forced failure. Otherwise the
4949       message will indicate some kind of Perl error. */
4950
4951       if (new_yield == NULL)
4952         {
4953         if (expand_string_message == NULL)
4954           {
4955           expand_string_message =
4956             string_sprintf("Perl subroutine \"%s\" returned undef to force "
4957               "failure", sub_arg[0]);
4958           f.expand_string_forcedfail = TRUE;
4959           }
4960         goto EXPAND_FAILED;
4961         }
4962
4963       /* Yield succeeded. Ensure forcedfail is unset, just in case it got
4964       set during a callback from Perl. */
4965
4966       f.expand_string_forcedfail = FALSE;
4967       yield = new_yield;
4968       continue;
4969       }
4970     #endif /* EXIM_PERL */
4971
4972     /* Transform email address to "prvs" scheme to use
4973        as BATV-signed return path */
4974
4975     case EITEM_PRVS:
4976       {
4977       uschar *sub_arg[3];
4978       uschar *p,*domain;
4979
4980       switch(read_subs(sub_arg, 3, 2, &s, skipping, TRUE, US"prvs", &resetok))
4981         {
4982         case 1: goto EXPAND_FAILED_CURLY;
4983         case 2:
4984         case 3: goto EXPAND_FAILED;
4985         }
4986
4987       /* If skipping, we don't actually do anything */
4988       if (skipping) continue;
4989
4990       /* sub_arg[0] is the address */
4991       if (  !(domain = Ustrrchr(sub_arg[0],'@'))
4992          || domain == sub_arg[0] || Ustrlen(domain) == 1)
4993         {
4994         expand_string_message = US"prvs first argument must be a qualified email address";
4995         goto EXPAND_FAILED;
4996         }
4997
4998       /* Calculate the hash. The third argument must be a single-digit
4999       key number, or unset. */
5000
5001       if (  sub_arg[2]
5002          && (!isdigit(sub_arg[2][0]) || sub_arg[2][1] != 0))
5003         {
5004         expand_string_message = US"prvs third argument must be a single digit";
5005         goto EXPAND_FAILED;
5006         }
5007
5008       p = prvs_hmac_sha1(sub_arg[0], sub_arg[1], sub_arg[2], prvs_daystamp(7));
5009       if (!p)
5010         {
5011         expand_string_message = US"prvs hmac-sha1 conversion failed";
5012         goto EXPAND_FAILED;
5013         }
5014
5015       /* Now separate the domain from the local part */
5016       *domain++ = '\0';
5017
5018       yield = string_catn(yield, US"prvs=", 5);
5019       yield = string_catn(yield, sub_arg[2] ? sub_arg[2] : US"0", 1);
5020       yield = string_catn(yield, prvs_daystamp(7), 3);
5021       yield = string_catn(yield, p, 6);
5022       yield = string_catn(yield, US"=", 1);
5023       yield = string_cat (yield, sub_arg[0]);
5024       yield = string_catn(yield, US"@", 1);
5025       yield = string_cat (yield, domain);
5026
5027       continue;
5028       }
5029
5030     /* Check a prvs-encoded address for validity */
5031
5032     case EITEM_PRVSCHECK:
5033       {
5034       uschar *sub_arg[3];
5035       gstring * g;
5036       const pcre *re;
5037       uschar *p;
5038
5039       /* TF: Ugliness: We want to expand parameter 1 first, then set
5040          up expansion variables that are used in the expansion of
5041          parameter 2. So we clone the string for the first
5042          expansion, where we only expand parameter 1.
5043
5044          PH: Actually, that isn't necessary. The read_subs() function is
5045          designed to work this way for the ${if and ${lookup expansions. I've
5046          tidied the code.
5047       */
5048
5049       /* Reset expansion variables */
5050       prvscheck_result = NULL;
5051       prvscheck_address = NULL;
5052       prvscheck_keynum = NULL;
5053
5054       switch(read_subs(sub_arg, 1, 1, &s, skipping, FALSE, US"prvs", &resetok))
5055         {
5056         case 1: goto EXPAND_FAILED_CURLY;
5057         case 2:
5058         case 3: goto EXPAND_FAILED;
5059         }
5060
5061       re = regex_must_compile(US"^prvs\\=([0-9])([0-9]{3})([A-F0-9]{6})\\=(.+)\\@(.+)$",
5062                               TRUE,FALSE);
5063
5064       if (regex_match_and_setup(re,sub_arg[0],0,-1))
5065         {
5066         uschar *local_part = string_copyn(expand_nstring[4],expand_nlength[4]);
5067         uschar *key_num = string_copyn(expand_nstring[1],expand_nlength[1]);
5068         uschar *daystamp = string_copyn(expand_nstring[2],expand_nlength[2]);
5069         uschar *hash = string_copyn(expand_nstring[3],expand_nlength[3]);
5070         uschar *domain = string_copyn(expand_nstring[5],expand_nlength[5]);
5071
5072         DEBUG(D_expand) debug_printf_indent("prvscheck localpart: %s\n", local_part);
5073         DEBUG(D_expand) debug_printf_indent("prvscheck key number: %s\n", key_num);
5074         DEBUG(D_expand) debug_printf_indent("prvscheck daystamp: %s\n", daystamp);
5075         DEBUG(D_expand) debug_printf_indent("prvscheck hash: %s\n", hash);
5076         DEBUG(D_expand) debug_printf_indent("prvscheck domain: %s\n", domain);
5077
5078         /* Set up expansion variables */
5079         g = string_cat (NULL, local_part);
5080         g = string_catn(g, US"@", 1);
5081         g = string_cat (g, domain);
5082         prvscheck_address = string_from_gstring(g);
5083         prvscheck_keynum = string_copy(key_num);
5084
5085         /* Now expand the second argument */
5086         switch(read_subs(sub_arg, 1, 1, &s, skipping, FALSE, US"prvs", &resetok))
5087           {
5088           case 1: goto EXPAND_FAILED_CURLY;
5089           case 2:
5090           case 3: goto EXPAND_FAILED;
5091           }
5092
5093         /* Now we have the key and can check the address. */
5094
5095         p = prvs_hmac_sha1(prvscheck_address, sub_arg[0], prvscheck_keynum,
5096           daystamp);
5097
5098         if (!p)
5099           {
5100           expand_string_message = US"hmac-sha1 conversion failed";
5101           goto EXPAND_FAILED;
5102           }
5103
5104         DEBUG(D_expand) debug_printf_indent("prvscheck: received hash is %s\n", hash);
5105         DEBUG(D_expand) debug_printf_indent("prvscheck:      own hash is %s\n", p);
5106
5107         if (Ustrcmp(p,hash) == 0)
5108           {
5109           /* Success, valid BATV address. Now check the expiry date. */
5110           uschar *now = prvs_daystamp(0);
5111           unsigned int inow = 0,iexpire = 1;
5112
5113           (void)sscanf(CS now,"%u",&inow);
5114           (void)sscanf(CS daystamp,"%u",&iexpire);
5115
5116           /* When "iexpire" is < 7, a "flip" has occurred.
5117              Adjust "inow" accordingly. */
5118           if ( (iexpire < 7) && (inow >= 993) ) inow = 0;
5119
5120           if (iexpire >= inow)
5121             {
5122             prvscheck_result = US"1";
5123             DEBUG(D_expand) debug_printf_indent("prvscheck: success, $pvrs_result set to 1\n");
5124             }
5125           else
5126             {
5127             prvscheck_result = NULL;
5128             DEBUG(D_expand) debug_printf_indent("prvscheck: signature expired, $pvrs_result unset\n");
5129             }
5130           }
5131         else
5132           {
5133           prvscheck_result = NULL;
5134           DEBUG(D_expand) debug_printf_indent("prvscheck: hash failure, $pvrs_result unset\n");
5135           }
5136
5137         /* Now expand the final argument. We leave this till now so that
5138         it can include $prvscheck_result. */
5139
5140         switch(read_subs(sub_arg, 1, 0, &s, skipping, TRUE, US"prvs", &resetok))
5141           {
5142           case 1: goto EXPAND_FAILED_CURLY;
5143           case 2:
5144           case 3: goto EXPAND_FAILED;
5145           }
5146
5147         yield = string_cat(yield,
5148           !sub_arg[0] || !*sub_arg[0] ? prvscheck_address : sub_arg[0]);
5149
5150         /* Reset the "internal" variables afterwards, because they are in
5151         dynamic store that will be reclaimed if the expansion succeeded. */
5152
5153         prvscheck_address = NULL;
5154         prvscheck_keynum = NULL;
5155         }
5156       else
5157         /* Does not look like a prvs encoded address, return the empty string.
5158            We need to make sure all subs are expanded first, so as to skip over
5159            the entire item. */
5160
5161         switch(read_subs(sub_arg, 2, 1, &s, skipping, TRUE, US"prvs", &resetok))
5162           {
5163           case 1: goto EXPAND_FAILED_CURLY;
5164           case 2:
5165           case 3: goto EXPAND_FAILED;
5166           }
5167
5168       continue;
5169       }
5170
5171     /* Handle "readfile" to insert an entire file */
5172
5173     case EITEM_READFILE:
5174       {
5175       FILE *f;
5176       uschar *sub_arg[2];
5177
5178       if ((expand_forbid & RDO_READFILE) != 0)
5179         {
5180         expand_string_message = US"file insertions are not permitted";
5181         goto EXPAND_FAILED;
5182         }
5183
5184       switch(read_subs(sub_arg, 2, 1, &s, skipping, TRUE, US"readfile", &resetok))
5185         {
5186         case 1: goto EXPAND_FAILED_CURLY;
5187         case 2:
5188         case 3: goto EXPAND_FAILED;
5189         }
5190
5191       /* If skipping, we don't actually do anything */
5192
5193       if (skipping) continue;
5194
5195       /* Open the file and read it */
5196
5197       if (!(f = Ufopen(sub_arg[0], "rb")))
5198         {
5199         expand_string_message = string_open_failed(errno, "%s", sub_arg[0]);
5200         goto EXPAND_FAILED;
5201         }
5202
5203       yield = cat_file(f, yield, sub_arg[1]);
5204       (void)fclose(f);
5205       continue;
5206       }
5207
5208     /* Handle "readsocket" to insert data from a socket, either
5209     Inet or Unix domain */
5210
5211     case EITEM_READSOCK:
5212       {
5213       client_conn_ctx cctx;
5214       int timeout = 5;
5215       int save_ptr = yield->ptr;
5216       FILE * fp = NULL;
5217       uschar * arg;
5218       uschar * sub_arg[4];
5219       uschar * server_name = NULL;
5220       host_item host;
5221       BOOL do_shutdown = TRUE;
5222       BOOL do_tls = FALSE;      /* Only set under ! DISABLE_TLS */
5223       blob reqstr;
5224
5225       if (expand_forbid & RDO_READSOCK)
5226         {
5227         expand_string_message = US"socket insertions are not permitted";
5228         goto EXPAND_FAILED;
5229         }
5230
5231       /* Read up to 4 arguments, but don't do the end of item check afterwards,
5232       because there may be a string for expansion on failure. */
5233
5234       switch(read_subs(sub_arg, 4, 2, &s, skipping, FALSE, US"readsocket", &resetok))
5235         {
5236         case 1: goto EXPAND_FAILED_CURLY;
5237         case 2:                             /* Won't occur: no end check */
5238         case 3: goto EXPAND_FAILED;
5239         }
5240
5241       /* Grab the request string, if any */
5242
5243       reqstr.data = sub_arg[1];
5244       reqstr.len = Ustrlen(sub_arg[1]);
5245
5246       /* Sort out timeout, if given.  The second arg is a list with the first element
5247       being a time value.  Any more are options of form "name=value".  Currently the
5248       only option recognised is "shutdown". */
5249
5250       if (sub_arg[2])
5251         {
5252         const uschar * list = sub_arg[2];
5253         uschar * item;
5254         int sep = 0;
5255
5256         item = string_nextinlist(&list, &sep, NULL, 0);
5257         if ((timeout = readconf_readtime(item, 0, FALSE)) < 0)
5258           {
5259           expand_string_message = string_sprintf("bad time value %s", item);
5260           goto EXPAND_FAILED;
5261           }
5262
5263         while ((item = string_nextinlist(&list, &sep, NULL, 0)))
5264           if (Ustrncmp(item, US"shutdown=", 9) == 0)
5265             { if (Ustrcmp(item + 9, US"no") == 0) do_shutdown = FALSE; }
5266 #ifndef DISABLE_TLS
5267           else if (Ustrncmp(item, US"tls=", 4) == 0)
5268             { if (Ustrcmp(item + 9, US"no") != 0) do_tls = TRUE; }
5269 #endif
5270         }
5271       else
5272         sub_arg[3] = NULL;                     /* No eol if no timeout */
5273
5274       /* If skipping, we don't actually do anything. Otherwise, arrange to
5275       connect to either an IP or a Unix socket. */
5276
5277       if (!skipping)
5278         {
5279         /* Handle an IP (internet) domain */
5280
5281         if (Ustrncmp(sub_arg[0], "inet:", 5) == 0)
5282           {
5283           int port;
5284           uschar * port_name;
5285
5286           server_name = sub_arg[0] + 5;
5287           port_name = Ustrrchr(server_name, ':');
5288
5289           /* Sort out the port */
5290
5291           if (!port_name)
5292             {
5293             expand_string_message =
5294               string_sprintf("missing port for readsocket %s", sub_arg[0]);
5295             goto EXPAND_FAILED;
5296             }
5297           *port_name++ = 0;           /* Terminate server name */
5298
5299           if (isdigit(*port_name))
5300             {
5301             uschar *end;
5302             port = Ustrtol(port_name, &end, 0);
5303             if (end != port_name + Ustrlen(port_name))
5304               {
5305               expand_string_message =
5306                 string_sprintf("invalid port number %s", port_name);
5307               goto EXPAND_FAILED;
5308               }
5309             }
5310           else
5311             {
5312             struct servent *service_info = getservbyname(CS port_name, "tcp");
5313             if (!service_info)
5314               {
5315               expand_string_message = string_sprintf("unknown port \"%s\"",
5316                 port_name);
5317               goto EXPAND_FAILED;
5318               }
5319             port = ntohs(service_info->s_port);
5320             }
5321
5322           /*XXX we trust that the request is idempotent for TFO.  Hmm. */
5323           cctx.sock = ip_connectedsocket(SOCK_STREAM, server_name, port, port,
5324                   timeout, &host, &expand_string_message,
5325                   do_tls ? NULL : &reqstr);
5326           callout_address = NULL;
5327           if (cctx.sock < 0)
5328             goto SOCK_FAIL;
5329           if (!do_tls)
5330             reqstr.len = 0;
5331           }
5332
5333         /* Handle a Unix domain socket */
5334
5335         else
5336           {
5337           struct sockaddr_un sockun;         /* don't call this "sun" ! */
5338           int rc;
5339
5340           if ((cctx.sock = socket(PF_UNIX, SOCK_STREAM, 0)) == -1)
5341             {
5342             expand_string_message = string_sprintf("failed to create socket: %s",
5343               strerror(errno));
5344             goto SOCK_FAIL;
5345             }
5346
5347           sockun.sun_family = AF_UNIX;
5348           sprintf(sockun.sun_path, "%.*s", (int)(sizeof(sockun.sun_path)-1),
5349             sub_arg[0]);
5350           server_name = US sockun.sun_path;
5351
5352           sigalrm_seen = FALSE;
5353           ALARM(timeout);
5354           rc = connect(cctx.sock, (struct sockaddr *)(&sockun), sizeof(sockun));
5355           ALARM_CLR(0);
5356           if (sigalrm_seen)
5357             {
5358             expand_string_message = US "socket connect timed out";
5359             goto SOCK_FAIL;
5360             }
5361           if (rc < 0)
5362             {
5363             expand_string_message = string_sprintf("failed to connect to socket "
5364               "%s: %s", sub_arg[0], strerror(errno));
5365             goto SOCK_FAIL;
5366             }
5367           host.name = server_name;
5368           host.address = US"";
5369           }
5370
5371         DEBUG(D_expand) debug_printf_indent("connected to socket %s\n", sub_arg[0]);
5372
5373 #ifndef DISABLE_TLS
5374         if (do_tls)
5375           {
5376           smtp_connect_args conn_args = {.host = &host };
5377           tls_support tls_dummy = {.sni=NULL};
5378           uschar * errstr;
5379
5380           if (!tls_client_start(&cctx, &conn_args, NULL, &tls_dummy, &errstr))
5381             {
5382             expand_string_message = string_sprintf("TLS connect failed: %s", errstr);
5383             goto SOCK_FAIL;
5384             }
5385           }
5386 #endif
5387
5388         /* Allow sequencing of test actions */
5389         testharness_pause_ms(100);
5390
5391         /* Write the request string, if not empty or already done */
5392
5393         if (reqstr.len)
5394           {
5395           DEBUG(D_expand) debug_printf_indent("writing \"%s\" to socket\n",
5396             reqstr.data);
5397           if ( (
5398 #ifndef DISABLE_TLS
5399               do_tls ? tls_write(cctx.tls_ctx, reqstr.data, reqstr.len, FALSE) :
5400 #endif
5401                         write(cctx.sock, reqstr.data, reqstr.len)) != reqstr.len)
5402             {
5403             expand_string_message = string_sprintf("request write to socket "
5404               "failed: %s", strerror(errno));
5405             goto SOCK_FAIL;
5406             }
5407           }
5408
5409         /* Shut down the sending side of the socket. This helps some servers to
5410         recognise that it is their turn to do some work. Just in case some
5411         system doesn't have this function, make it conditional. */
5412
5413 #ifdef SHUT_WR
5414         if (!do_tls && do_shutdown) shutdown(cctx.sock, SHUT_WR);
5415 #endif
5416
5417         testharness_pause_ms(100);
5418
5419         /* Now we need to read from the socket, under a timeout. The function
5420         that reads a file can be used. */
5421
5422         if (!do_tls)
5423           fp = fdopen(cctx.sock, "rb");
5424         sigalrm_seen = FALSE;
5425         ALARM(timeout);
5426         yield =
5427 #ifndef DISABLE_TLS
5428           do_tls ? cat_file_tls(cctx.tls_ctx, yield, sub_arg[3]) :
5429 #endif
5430                     cat_file(fp, yield, sub_arg[3]);
5431         ALARM_CLR(0);
5432
5433 #ifndef DISABLE_TLS
5434         if (do_tls)
5435           {
5436           tls_close(cctx.tls_ctx, TRUE);
5437           close(cctx.sock);
5438           }
5439         else
5440 #endif
5441           (void)fclose(fp);
5442
5443         /* After a timeout, we restore the pointer in the result, that is,
5444         make sure we add nothing from the socket. */
5445
5446         if (sigalrm_seen)
5447           {
5448           yield->ptr = save_ptr;
5449           expand_string_message = US "socket read timed out";
5450           goto SOCK_FAIL;
5451           }
5452         }
5453
5454       /* The whole thing has worked (or we were skipping). If there is a
5455       failure string following, we need to skip it. */
5456
5457       if (*s == '{')
5458         {
5459         if (expand_string_internal(s+1, TRUE, &s, TRUE, TRUE, &resetok) == NULL)
5460           goto EXPAND_FAILED;
5461         if (*s++ != '}')
5462           {
5463           expand_string_message = US"missing '}' closing failstring for readsocket";
5464           goto EXPAND_FAILED_CURLY;
5465           }
5466         while (isspace(*s)) s++;
5467         }
5468
5469     READSOCK_DONE:
5470       if (*s++ != '}')
5471         {
5472         expand_string_message = US"missing '}' closing readsocket";
5473         goto EXPAND_FAILED_CURLY;
5474         }
5475       continue;
5476
5477       /* Come here on failure to create socket, connect socket, write to the
5478       socket, or timeout on reading. If another substring follows, expand and
5479       use it. Otherwise, those conditions give expand errors. */
5480
5481     SOCK_FAIL:
5482       if (*s != '{') goto EXPAND_FAILED;
5483       DEBUG(D_any) debug_printf("%s\n", expand_string_message);
5484       if (!(arg = expand_string_internal(s+1, TRUE, &s, FALSE, TRUE, &resetok)))
5485         goto EXPAND_FAILED;
5486       yield = string_cat(yield, arg);
5487       if (*s++ != '}')
5488         {
5489         expand_string_message = US"missing '}' closing failstring for readsocket";
5490         goto EXPAND_FAILED_CURLY;
5491         }
5492       while (isspace(*s)) s++;
5493       goto READSOCK_DONE;
5494       }
5495
5496     /* Handle "run" to execute a program. */
5497
5498     case EITEM_RUN:
5499       {
5500       FILE *f;
5501       uschar *arg;
5502       const uschar **argv;
5503       pid_t pid;
5504       int fd_in, fd_out;
5505
5506       if ((expand_forbid & RDO_RUN) != 0)
5507         {
5508         expand_string_message = US"running a command is not permitted";
5509         goto EXPAND_FAILED;
5510         }
5511
5512       while (isspace(*s)) s++;
5513       if (*s != '{')
5514         {
5515         expand_string_message = US"missing '{' for command arg of run";
5516         goto EXPAND_FAILED_CURLY;
5517         }
5518       arg = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
5519       if (arg == NULL) goto EXPAND_FAILED;
5520       while (isspace(*s)) s++;
5521       if (*s++ != '}')
5522         {
5523         expand_string_message = US"missing '}' closing command arg of run";
5524         goto EXPAND_FAILED_CURLY;
5525         }
5526
5527       if (skipping)   /* Just pretend it worked when we're skipping */
5528         {
5529         runrc = 0;
5530         lookup_value = NULL;
5531         }
5532       else
5533         {
5534         if (!transport_set_up_command(&argv,    /* anchor for arg list */
5535             arg,                                /* raw command */
5536             FALSE,                              /* don't expand the arguments */
5537             0,                                  /* not relevant when... */
5538             NULL,                               /* no transporting address */
5539             US"${run} expansion",               /* for error messages */
5540             &expand_string_message))            /* where to put error message */
5541           goto EXPAND_FAILED;
5542
5543         /* Create the child process, making it a group leader. */
5544
5545         if ((pid = child_open(USS argv, NULL, 0077, &fd_in, &fd_out, TRUE)) < 0)
5546           {
5547           expand_string_message =
5548             string_sprintf("couldn't create child process: %s", strerror(errno));
5549           goto EXPAND_FAILED;
5550           }
5551
5552         /* Nothing is written to the standard input. */
5553
5554         (void)close(fd_in);
5555
5556         /* Read the pipe to get the command's output into $value (which is kept
5557         in lookup_value). Read during execution, so that if the output exceeds
5558         the OS pipe buffer limit, we don't block forever. Remember to not release
5559         memory just allocated for $value. */
5560
5561         resetok = FALSE;
5562         f = fdopen(fd_out, "rb");
5563         sigalrm_seen = FALSE;
5564         ALARM(60);
5565         lookup_value = string_from_gstring(cat_file(f, NULL, NULL));
5566         ALARM_CLR(0);
5567         (void)fclose(f);
5568
5569         /* Wait for the process to finish, applying the timeout, and inspect its
5570         return code for serious disasters. Simple non-zero returns are passed on.
5571         */
5572
5573         if (sigalrm_seen || (runrc = child_close(pid, 30)) < 0)
5574           {
5575           if (sigalrm_seen || runrc == -256)
5576             {
5577             expand_string_message = US"command timed out";
5578             killpg(pid, SIGKILL);       /* Kill the whole process group */
5579             }
5580
5581           else if (runrc == -257)
5582             expand_string_message = string_sprintf("wait() failed: %s",
5583               strerror(errno));
5584
5585           else
5586             expand_string_message = string_sprintf("command killed by signal %d",
5587               -runrc);
5588
5589           goto EXPAND_FAILED;
5590           }
5591         }
5592
5593       /* Process the yes/no strings; $value may be useful in both cases */
5594
5595       switch(process_yesno(
5596                skipping,                     /* were previously skipping */
5597                runrc == 0,                   /* success/failure indicator */
5598                lookup_value,                 /* value to reset for string2 */
5599                &s,                           /* input pointer */
5600                &yield,                       /* output pointer */
5601                US"run",                      /* condition type */
5602                &resetok))
5603         {
5604         case 1: goto EXPAND_FAILED;          /* when all is well, the */
5605         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
5606         }
5607
5608       continue;
5609       }
5610
5611     /* Handle character translation for "tr" */
5612
5613     case EITEM_TR:
5614       {
5615       int oldptr = yield->ptr;
5616       int o2m;
5617       uschar *sub[3];
5618
5619       switch(read_subs(sub, 3, 3, &s, skipping, TRUE, US"tr", &resetok))
5620         {
5621         case 1: goto EXPAND_FAILED_CURLY;
5622         case 2:
5623         case 3: goto EXPAND_FAILED;
5624         }
5625
5626       yield = string_cat(yield, sub[0]);
5627       o2m = Ustrlen(sub[2]) - 1;
5628
5629       if (o2m >= 0) for (; oldptr < yield->ptr; oldptr++)
5630         {
5631         uschar *m = Ustrrchr(sub[1], yield->s[oldptr]);
5632         if (m != NULL)
5633           {
5634           int o = m - sub[1];
5635           yield->s[oldptr] = sub[2][(o < o2m)? o : o2m];
5636           }
5637         }
5638
5639       continue;
5640       }
5641
5642     /* Handle "hash", "length", "nhash", and "substr" when they are given with
5643     expanded arguments. */
5644
5645     case EITEM_HASH:
5646     case EITEM_LENGTH:
5647     case EITEM_NHASH:
5648     case EITEM_SUBSTR:
5649       {
5650       int len;
5651       uschar *ret;
5652       int val[2] = { 0, -1 };
5653       uschar *sub[3];
5654
5655       /* "length" takes only 2 arguments whereas the others take 2 or 3.
5656       Ensure that sub[2] is set in the ${length } case. */
5657
5658       sub[2] = NULL;
5659       switch(read_subs(sub, (item_type == EITEM_LENGTH)? 2:3, 2, &s, skipping,
5660              TRUE, name, &resetok))
5661         {
5662         case 1: goto EXPAND_FAILED_CURLY;
5663         case 2:
5664         case 3: goto EXPAND_FAILED;
5665         }
5666
5667       /* Juggle the arguments if there are only two of them: always move the
5668       string to the last position and make ${length{n}{str}} equivalent to
5669       ${substr{0}{n}{str}}. See the defaults for val[] above. */
5670
5671       if (sub[2] == NULL)
5672         {
5673         sub[2] = sub[1];
5674         sub[1] = NULL;
5675         if (item_type == EITEM_LENGTH)
5676           {
5677           sub[1] = sub[0];
5678           sub[0] = NULL;
5679           }
5680         }
5681
5682       for (int i = 0; i < 2; i++) if (sub[i])
5683         {
5684         val[i] = (int)Ustrtol(sub[i], &ret, 10);
5685         if (*ret != 0 || (i != 0 && val[i] < 0))
5686           {
5687           expand_string_message = string_sprintf("\"%s\" is not a%s number "
5688             "(in \"%s\" expansion)", sub[i], (i != 0)? " positive" : "", name);
5689           goto EXPAND_FAILED;
5690           }
5691         }
5692
5693       ret =
5694         (item_type == EITEM_HASH)?
5695           compute_hash(sub[2], val[0], val[1], &len) :
5696         (item_type == EITEM_NHASH)?
5697           compute_nhash(sub[2], val[0], val[1], &len) :
5698           extract_substr(sub[2], val[0], val[1], &len);
5699
5700       if (ret == NULL) goto EXPAND_FAILED;
5701       yield = string_catn(yield, ret, len);
5702       continue;
5703       }
5704
5705     /* Handle HMAC computation: ${hmac{<algorithm>}{<secret>}{<text>}}
5706     This code originally contributed by Steve Haslam. It currently supports
5707     the use of MD5 and SHA-1 hashes.
5708
5709     We need some workspace that is large enough to handle all the supported
5710     hash types. Use macros to set the sizes rather than be too elaborate. */
5711
5712     #define MAX_HASHLEN      20
5713     #define MAX_HASHBLOCKLEN 64
5714
5715     case EITEM_HMAC:
5716       {
5717       uschar *sub[3];
5718       md5 md5_base;
5719       hctx sha1_ctx;
5720       void *use_base;
5721       int type;
5722       int hashlen;      /* Number of octets for the hash algorithm's output */
5723       int hashblocklen; /* Number of octets the hash algorithm processes */
5724       uschar *keyptr, *p;
5725       unsigned int keylen;
5726
5727       uschar keyhash[MAX_HASHLEN];
5728       uschar innerhash[MAX_HASHLEN];
5729       uschar finalhash[MAX_HASHLEN];
5730       uschar finalhash_hex[2*MAX_HASHLEN];
5731       uschar innerkey[MAX_HASHBLOCKLEN];
5732       uschar outerkey[MAX_HASHBLOCKLEN];
5733
5734       switch (read_subs(sub, 3, 3, &s, skipping, TRUE, name, &resetok))
5735         {
5736         case 1: goto EXPAND_FAILED_CURLY;
5737         case 2:
5738         case 3: goto EXPAND_FAILED;
5739         }
5740
5741       if (!skipping)
5742         {
5743         if (Ustrcmp(sub[0], "md5") == 0)
5744           {
5745           type = HMAC_MD5;
5746           use_base = &md5_base;
5747           hashlen = 16;
5748           hashblocklen = 64;
5749           }
5750         else if (Ustrcmp(sub[0], "sha1") == 0)
5751           {
5752           type = HMAC_SHA1;
5753           use_base = &sha1_ctx;
5754           hashlen = 20;
5755           hashblocklen = 64;
5756           }
5757         else
5758           {
5759           expand_string_message =
5760             string_sprintf("hmac algorithm \"%s\" is not recognised", sub[0]);
5761           goto EXPAND_FAILED;
5762           }
5763
5764         keyptr = sub[1];
5765         keylen = Ustrlen(keyptr);
5766
5767         /* If the key is longer than the hash block length, then hash the key
5768         first */
5769
5770         if (keylen > hashblocklen)
5771           {
5772           chash_start(type, use_base);
5773           chash_end(type, use_base, keyptr, keylen, keyhash);
5774           keyptr = keyhash;
5775           keylen = hashlen;
5776           }
5777
5778         /* Now make the inner and outer key values */
5779
5780         memset(innerkey, 0x36, hashblocklen);
5781         memset(outerkey, 0x5c, hashblocklen);
5782
5783         for (int i = 0; i < keylen; i++)
5784           {
5785           innerkey[i] ^= keyptr[i];
5786           outerkey[i] ^= keyptr[i];
5787           }
5788
5789         /* Now do the hashes */
5790
5791         chash_start(type, use_base);
5792         chash_mid(type, use_base, innerkey);
5793         chash_end(type, use_base, sub[2], Ustrlen(sub[2]), innerhash);
5794
5795         chash_start(type, use_base);
5796         chash_mid(type, use_base, outerkey);
5797         chash_end(type, use_base, innerhash, hashlen, finalhash);
5798
5799         /* Encode the final hash as a hex string */
5800
5801         p = finalhash_hex;
5802         for (int i = 0; i < hashlen; i++)
5803           {
5804           *p++ = hex_digits[(finalhash[i] & 0xf0) >> 4];
5805           *p++ = hex_digits[finalhash[i] & 0x0f];
5806           }
5807
5808         DEBUG(D_any) debug_printf("HMAC[%s](%.*s,%s)=%.*s\n",
5809           sub[0], (int)keylen, keyptr, sub[2], hashlen*2, finalhash_hex);
5810
5811         yield = string_catn(yield, finalhash_hex, hashlen*2);
5812         }
5813       continue;
5814       }
5815
5816     /* Handle global substitution for "sg" - like Perl's s/xxx/yyy/g operator.
5817     We have to save the numerical variables and restore them afterwards. */
5818
5819     case EITEM_SG:
5820       {
5821       const pcre *re;
5822       int moffset, moffsetextra, slen;
5823       int roffset;
5824       int emptyopt;
5825       const uschar *rerror;
5826       uschar *subject;
5827       uschar *sub[3];
5828       int save_expand_nmax =
5829         save_expand_strings(save_expand_nstring, save_expand_nlength);
5830
5831       switch(read_subs(sub, 3, 3, &s, skipping, TRUE, US"sg", &resetok))
5832         {
5833         case 1: goto EXPAND_FAILED_CURLY;
5834         case 2:
5835         case 3: goto EXPAND_FAILED;
5836         }
5837
5838       /* Compile the regular expression */
5839
5840       re = pcre_compile(CS sub[1], PCRE_COPT, (const char **)&rerror, &roffset,
5841         NULL);
5842
5843       if (re == NULL)
5844         {
5845         expand_string_message = string_sprintf("regular expression error in "
5846           "\"%s\": %s at offset %d", sub[1], rerror, roffset);
5847         goto EXPAND_FAILED;
5848         }
5849
5850       /* Now run a loop to do the substitutions as often as necessary. It ends
5851       when there are no more matches. Take care over matches of the null string;
5852       do the same thing as Perl does. */
5853
5854       subject = sub[0];
5855       slen = Ustrlen(sub[0]);
5856       moffset = moffsetextra = 0;
5857       emptyopt = 0;
5858
5859       for (;;)
5860         {
5861         int ovector[3*(EXPAND_MAXN+1)];
5862         int n = pcre_exec(re, NULL, CS subject, slen, moffset + moffsetextra,
5863           PCRE_EOPT | emptyopt, ovector, nelem(ovector));
5864         uschar *insert;
5865
5866         /* No match - if we previously set PCRE_NOTEMPTY after a null match, this
5867         is not necessarily the end. We want to repeat the match from one
5868         character further along, but leaving the basic offset the same (for
5869         copying below). We can't be at the end of the string - that was checked
5870         before setting PCRE_NOTEMPTY. If PCRE_NOTEMPTY is not set, we are
5871         finished; copy the remaining string and end the loop. */
5872
5873         if (n < 0)
5874           {
5875           if (emptyopt != 0)
5876             {
5877             moffsetextra = 1;
5878             emptyopt = 0;
5879             continue;
5880             }
5881           yield = string_catn(yield, subject+moffset, slen-moffset);
5882           break;
5883           }
5884
5885         /* Match - set up for expanding the replacement. */
5886
5887         if (n == 0) n = EXPAND_MAXN + 1;
5888         expand_nmax = 0;
5889         for (int nn = 0; nn < n*2; nn += 2)
5890           {
5891           expand_nstring[expand_nmax] = subject + ovector[nn];
5892           expand_nlength[expand_nmax++] = ovector[nn+1] - ovector[nn];
5893           }
5894         expand_nmax--;
5895
5896         /* Copy the characters before the match, plus the expanded insertion. */
5897
5898         yield = string_catn(yield, subject + moffset, ovector[0] - moffset);
5899         insert = expand_string(sub[2]);
5900         if (insert == NULL) goto EXPAND_FAILED;
5901         yield = string_cat(yield, insert);
5902
5903         moffset = ovector[1];
5904         moffsetextra = 0;
5905         emptyopt = 0;
5906
5907         /* If we have matched an empty string, first check to see if we are at
5908         the end of the subject. If so, the loop is over. Otherwise, mimic
5909         what Perl's /g options does. This turns out to be rather cunning. First
5910         we set PCRE_NOTEMPTY and PCRE_ANCHORED and try the match a non-empty
5911         string at the same point. If this fails (picked up above) we advance to
5912         the next character. */
5913
5914         if (ovector[0] == ovector[1])
5915           {
5916           if (ovector[0] == slen) break;
5917           emptyopt = PCRE_NOTEMPTY | PCRE_ANCHORED;
5918           }
5919         }
5920
5921       /* All done - restore numerical variables. */
5922
5923       restore_expand_strings(save_expand_nmax, save_expand_nstring,
5924         save_expand_nlength);
5925       continue;
5926       }
5927
5928     /* Handle keyed and numbered substring extraction. If the first argument
5929     consists entirely of digits, then a numerical extraction is assumed. */
5930
5931     case EITEM_EXTRACT:
5932       {
5933       int field_number = 1;
5934       BOOL field_number_set = FALSE;
5935       uschar *save_lookup_value = lookup_value;
5936       uschar *sub[3];
5937       int save_expand_nmax =
5938         save_expand_strings(save_expand_nstring, save_expand_nlength);
5939
5940       /* On reflection the original behaviour of extract-json for a string
5941       result, leaving it quoted, was a mistake.  But it was already published,
5942       hence the addition of jsons.  In a future major version, make json
5943       work like josons, and withdraw jsons. */
5944
5945       enum {extract_basic, extract_json, extract_jsons} fmt = extract_basic;
5946
5947       while (isspace(*s)) s++;
5948
5949       /* Check for a format-variant specifier */
5950
5951       if (*s != '{')                                    /*}*/
5952         if (Ustrncmp(s, "json", 4) == 0)
5953           if (*(s += 4) == 's')
5954             {fmt = extract_jsons; s++;}
5955           else
5956             fmt = extract_json;
5957
5958       /* While skipping we cannot rely on the data for expansions being
5959       available (eg. $item) hence cannot decide on numeric vs. keyed.
5960       Read a maximum of 5 arguments (including the yes/no) */
5961
5962       if (skipping)
5963         {
5964         for (int j = 5; j > 0 && *s == '{'; j--)                /*'}'*/
5965           {
5966           if (!expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok))
5967             goto EXPAND_FAILED;                                 /*'{'*/
5968           if (*s++ != '}')
5969             {
5970             expand_string_message = US"missing '{' for arg of extract";
5971             goto EXPAND_FAILED_CURLY;
5972             }
5973           while (isspace(*s)) s++;
5974           }
5975         if (  Ustrncmp(s, "fail", 4) == 0                       /*'{'*/
5976            && (s[4] == '}' || s[4] == ' ' || s[4] == '\t' || !s[4])
5977            )
5978           {
5979           s += 4;
5980           while (isspace(*s)) s++;
5981           }                                                     /*'{'*/
5982         if (*s != '}')
5983           {
5984           expand_string_message = US"missing '}' closing extract";
5985           goto EXPAND_FAILED_CURLY;
5986           }
5987         }
5988
5989       else for (int i = 0, j = 2; i < j; i++) /* Read the proper number of arguments */
5990         {
5991         while (isspace(*s)) s++;
5992         if (*s == '{')                                          /*'}'*/
5993           {
5994           sub[i] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
5995           if (sub[i] == NULL) goto EXPAND_FAILED;               /*'{'*/
5996           if (*s++ != '}')
5997             {
5998             expand_string_message = string_sprintf(
5999               "missing '}' closing arg %d of extract", i+1);
6000             goto EXPAND_FAILED_CURLY;
6001             }
6002
6003           /* After removal of leading and trailing white space, the first
6004           argument must not be empty; if it consists entirely of digits
6005           (optionally preceded by a minus sign), this is a numerical
6006           extraction, and we expect 3 arguments (normal) or 2 (json). */
6007
6008           if (i == 0)
6009             {
6010             int len;
6011             int x = 0;
6012             uschar *p = sub[0];
6013
6014             while (isspace(*p)) p++;
6015             sub[0] = p;
6016
6017             len = Ustrlen(p);
6018             while (len > 0 && isspace(p[len-1])) len--;
6019             p[len] = 0;
6020
6021             if (*p == 0)
6022               {
6023               expand_string_message = US"first argument of \"extract\" must "
6024                 "not be empty";
6025               goto EXPAND_FAILED;
6026               }
6027
6028             if (*p == '-')
6029               {
6030               field_number = -1;
6031               p++;
6032               }
6033             while (*p != 0 && isdigit(*p)) x = x * 10 + *p++ - '0';
6034             if (*p == 0)
6035               {
6036               field_number *= x;
6037               if (fmt == extract_basic) j = 3;               /* Need 3 args */
6038               field_number_set = TRUE;
6039               }
6040             }
6041           }
6042         else
6043           {
6044           expand_string_message = string_sprintf(
6045             "missing '{' for arg %d of extract", i+1);
6046           goto EXPAND_FAILED_CURLY;
6047           }
6048         }
6049
6050       /* Extract either the numbered or the keyed substring into $value. If
6051       skipping, just pretend the extraction failed. */
6052
6053       if (skipping)
6054         lookup_value = NULL;
6055       else switch (fmt)
6056         {
6057         case extract_basic:
6058           lookup_value = field_number_set
6059             ? expand_gettokened(field_number, sub[1], sub[2])
6060             : expand_getkeyed(sub[0], sub[1]);
6061           break;
6062
6063         case extract_json:
6064         case extract_jsons:
6065           {
6066           uschar * s, * item;
6067           const uschar * list;
6068
6069           /* Array: Bracket-enclosed and comma-separated.
6070           Object: Brace-enclosed, comma-sep list of name:value pairs */
6071
6072           if (!(s = dewrap(sub[1], field_number_set ? US"[]" : US"{}")))
6073             {
6074             expand_string_message =
6075               string_sprintf("%s wrapping %s for extract json",
6076                 expand_string_message,
6077                 field_number_set ? "array" : "object");
6078             goto EXPAND_FAILED_CURLY;
6079             }
6080
6081           list = s;
6082           if (field_number_set)
6083             {
6084             if (field_number <= 0)
6085               {
6086               expand_string_message = US"first argument of \"extract\" must "
6087                 "be greater than zero";
6088               goto EXPAND_FAILED;
6089               }
6090             while (field_number > 0 && (item = json_nextinlist(&list)))
6091               field_number--;
6092             if ((lookup_value = s = item))
6093               {
6094               while (*s) s++;
6095               while (--s >= lookup_value && isspace(*s)) *s = '\0';
6096               }
6097             }
6098           else
6099             {
6100             lookup_value = NULL;
6101             while ((item = json_nextinlist(&list)))
6102               {
6103               /* Item is:  string name-sep value.  string is quoted.
6104               Dequote the string and compare with the search key. */
6105
6106               if (!(item = dewrap(item, US"\"\"")))
6107                 {
6108                 expand_string_message =
6109                   string_sprintf("%s wrapping string key for extract json",
6110                     expand_string_message);
6111                 goto EXPAND_FAILED_CURLY;
6112                 }
6113               if (Ustrcmp(item, sub[0]) == 0)   /*XXX should be a UTF8-compare */
6114                 {
6115                 s = item + Ustrlen(item) + 1;
6116                 while (isspace(*s)) s++;
6117                 if (*s != ':')
6118                   {
6119                   expand_string_message =
6120                     US"missing object value-separator for extract json";
6121                   goto EXPAND_FAILED_CURLY;
6122                   }
6123                 s++;
6124                 while (isspace(*s)) s++;
6125                 lookup_value = s;
6126                 break;
6127                 }
6128               }
6129             }
6130           }
6131
6132           if (  fmt == extract_jsons
6133              && lookup_value
6134              && !(lookup_value = dewrap(lookup_value, US"\"\"")))
6135             {
6136             expand_string_message =
6137               string_sprintf("%s wrapping string result for extract jsons",
6138                 expand_string_message);
6139             goto EXPAND_FAILED_CURLY;
6140             }
6141           break;        /* json/s */
6142         }
6143
6144       /* If no string follows, $value gets substituted; otherwise there can
6145       be yes/no strings, as for lookup or if. */
6146
6147       switch(process_yesno(
6148                skipping,                     /* were previously skipping */
6149                lookup_value != NULL,         /* success/failure indicator */
6150                save_lookup_value,            /* value to reset for string2 */
6151                &s,                           /* input pointer */
6152                &yield,                       /* output pointer */
6153                US"extract",                  /* condition type */
6154                &resetok))
6155         {
6156         case 1: goto EXPAND_FAILED;          /* when all is well, the */
6157         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
6158         }
6159
6160       /* All done - restore numerical variables. */
6161
6162       restore_expand_strings(save_expand_nmax, save_expand_nstring,
6163         save_expand_nlength);
6164
6165       continue;
6166       }
6167
6168     /* return the Nth item from a list */
6169
6170     case EITEM_LISTEXTRACT:
6171       {
6172       int field_number = 1;
6173       uschar *save_lookup_value = lookup_value;
6174       uschar *sub[2];
6175       int save_expand_nmax =
6176         save_expand_strings(save_expand_nstring, save_expand_nlength);
6177
6178       /* Read the field & list arguments */
6179
6180       for (int i = 0; i < 2; i++)
6181         {
6182         while (isspace(*s)) s++;
6183         if (*s != '{')                                  /*'}'*/
6184           {
6185           expand_string_message = string_sprintf(
6186             "missing '{' for arg %d of listextract", i+1);
6187           goto EXPAND_FAILED_CURLY;
6188           }
6189
6190         sub[i] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
6191         if (!sub[i])     goto EXPAND_FAILED;            /*{*/
6192         if (*s++ != '}')
6193           {
6194           expand_string_message = string_sprintf(
6195             "missing '}' closing arg %d of listextract", i+1);
6196           goto EXPAND_FAILED_CURLY;
6197           }
6198
6199         /* After removal of leading and trailing white space, the first
6200         argument must be numeric and nonempty. */
6201
6202         if (i == 0)
6203           {
6204           int len;
6205           int x = 0;
6206           uschar *p = sub[0];
6207
6208           while (isspace(*p)) p++;
6209           sub[0] = p;
6210
6211           len = Ustrlen(p);
6212           while (len > 0 && isspace(p[len-1])) len--;
6213           p[len] = 0;
6214
6215           if (!*p && !skipping)
6216             {
6217             expand_string_message = US"first argument of \"listextract\" must "
6218               "not be empty";
6219             goto EXPAND_FAILED;
6220             }
6221
6222           if (*p == '-')
6223             {
6224             field_number = -1;
6225             p++;
6226             }
6227           while (*p && isdigit(*p)) x = x * 10 + *p++ - '0';
6228           if (*p)
6229             {
6230             expand_string_message = US"first argument of \"listextract\" must "
6231               "be numeric";
6232             goto EXPAND_FAILED;
6233             }
6234           field_number *= x;
6235           }
6236         }
6237
6238       /* Extract the numbered element into $value. If
6239       skipping, just pretend the extraction failed. */
6240
6241       lookup_value = skipping ? NULL : expand_getlistele(field_number, sub[1]);
6242
6243       /* If no string follows, $value gets substituted; otherwise there can
6244       be yes/no strings, as for lookup or if. */
6245
6246       switch(process_yesno(
6247                skipping,                     /* were previously skipping */
6248                lookup_value != NULL,         /* success/failure indicator */
6249                save_lookup_value,            /* value to reset for string2 */
6250                &s,                           /* input pointer */
6251                &yield,                       /* output pointer */
6252                US"listextract",              /* condition type */
6253                &resetok))
6254         {
6255         case 1: goto EXPAND_FAILED;          /* when all is well, the */
6256         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
6257         }
6258
6259       /* All done - restore numerical variables. */
6260
6261       restore_expand_strings(save_expand_nmax, save_expand_nstring,
6262         save_expand_nlength);
6263
6264       continue;
6265       }
6266
6267 #ifndef DISABLE_TLS
6268     case EITEM_CERTEXTRACT:
6269       {
6270       uschar *save_lookup_value = lookup_value;
6271       uschar *sub[2];
6272       int save_expand_nmax =
6273         save_expand_strings(save_expand_nstring, save_expand_nlength);
6274
6275       /* Read the field argument */
6276       while (isspace(*s)) s++;
6277       if (*s != '{')                                    /*}*/
6278         {
6279         expand_string_message = US"missing '{' for field arg of certextract";
6280         goto EXPAND_FAILED_CURLY;
6281         }
6282       sub[0] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
6283       if (!sub[0])     goto EXPAND_FAILED;              /*{*/
6284       if (*s++ != '}')
6285         {
6286         expand_string_message = US"missing '}' closing field arg of certextract";
6287         goto EXPAND_FAILED_CURLY;
6288         }
6289       /* strip spaces fore & aft */
6290       {
6291       int len;
6292       uschar *p = sub[0];
6293
6294       while (isspace(*p)) p++;
6295       sub[0] = p;
6296
6297       len = Ustrlen(p);
6298       while (len > 0 && isspace(p[len-1])) len--;
6299       p[len] = 0;
6300       }
6301
6302       /* inspect the cert argument */
6303       while (isspace(*s)) s++;
6304       if (*s != '{')                                    /*}*/
6305         {
6306         expand_string_message = US"missing '{' for cert variable arg of certextract";
6307         goto EXPAND_FAILED_CURLY;
6308         }
6309       if (*++s != '$')
6310         {
6311         expand_string_message = US"second argument of \"certextract\" must "
6312           "be a certificate variable";
6313         goto EXPAND_FAILED;
6314         }
6315       sub[1] = expand_string_internal(s+1, TRUE, &s, skipping, FALSE, &resetok);
6316       if (!sub[1])     goto EXPAND_FAILED;              /*{*/
6317       if (*s++ != '}')
6318         {
6319         expand_string_message = US"missing '}' closing cert variable arg of certextract";
6320         goto EXPAND_FAILED_CURLY;
6321         }
6322
6323       if (skipping)
6324         lookup_value = NULL;
6325       else
6326         {
6327         lookup_value = expand_getcertele(sub[0], sub[1]);
6328         if (*expand_string_message) goto EXPAND_FAILED;
6329         }
6330       switch(process_yesno(
6331                skipping,                     /* were previously skipping */
6332                lookup_value != NULL,         /* success/failure indicator */
6333                save_lookup_value,            /* value to reset for string2 */
6334                &s,                           /* input pointer */
6335                &yield,                       /* output pointer */
6336                US"certextract",              /* condition type */
6337                &resetok))
6338         {
6339         case 1: goto EXPAND_FAILED;          /* when all is well, the */
6340         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
6341         }
6342
6343       restore_expand_strings(save_expand_nmax, save_expand_nstring,
6344         save_expand_nlength);
6345       continue;
6346       }
6347 #endif  /*DISABLE_TLS*/
6348
6349     /* Handle list operations */
6350
6351     case EITEM_FILTER:
6352     case EITEM_MAP:
6353     case EITEM_REDUCE:
6354       {
6355       int sep = 0;
6356       int save_ptr = yield->ptr;
6357       uschar outsep[2] = { '\0', '\0' };
6358       const uschar *list, *expr, *temp;
6359       uschar *save_iterate_item = iterate_item;
6360       uschar *save_lookup_value = lookup_value;
6361
6362       while (isspace(*s)) s++;
6363       if (*s++ != '{')
6364         {
6365         expand_string_message =
6366           string_sprintf("missing '{' for first arg of %s", name);
6367         goto EXPAND_FAILED_CURLY;
6368         }
6369
6370       list = expand_string_internal(s, TRUE, &s, skipping, TRUE, &resetok);
6371       if (list == NULL) goto EXPAND_FAILED;
6372       if (*s++ != '}')
6373         {
6374         expand_string_message =
6375           string_sprintf("missing '}' closing first arg of %s", name);
6376         goto EXPAND_FAILED_CURLY;
6377         }
6378
6379       if (item_type == EITEM_REDUCE)
6380         {
6381         uschar * t;
6382         while (isspace(*s)) s++;
6383         if (*s++ != '{')
6384           {
6385           expand_string_message = US"missing '{' for second arg of reduce";
6386           goto EXPAND_FAILED_CURLY;
6387           }
6388         t = expand_string_internal(s, TRUE, &s, skipping, TRUE, &resetok);
6389         if (!t) goto EXPAND_FAILED;
6390         lookup_value = t;
6391         if (*s++ != '}')
6392           {
6393           expand_string_message = US"missing '}' closing second arg of reduce";
6394           goto EXPAND_FAILED_CURLY;
6395           }
6396         }
6397
6398       while (isspace(*s)) s++;
6399       if (*s++ != '{')
6400         {
6401         expand_string_message =
6402           string_sprintf("missing '{' for last arg of %s", name);
6403         goto EXPAND_FAILED_CURLY;
6404         }
6405
6406       expr = s;
6407
6408       /* For EITEM_FILTER, call eval_condition once, with result discarded (as
6409       if scanning a "false" part). This allows us to find the end of the
6410       condition, because if the list is empty, we won't actually evaluate the
6411       condition for real. For EITEM_MAP and EITEM_REDUCE, do the same, using
6412       the normal internal expansion function. */
6413
6414       if (item_type == EITEM_FILTER)
6415         {
6416         temp = eval_condition(expr, &resetok, NULL);
6417         if (temp != NULL) s = temp;
6418         }
6419       else
6420         temp = expand_string_internal(s, TRUE, &s, TRUE, TRUE, &resetok);
6421
6422       if (temp == NULL)
6423         {
6424         expand_string_message = string_sprintf("%s inside \"%s\" item",
6425           expand_string_message, name);
6426         goto EXPAND_FAILED;
6427         }
6428
6429       while (isspace(*s)) s++;
6430       if (*s++ != '}')
6431         {                                               /*{*/
6432         expand_string_message = string_sprintf("missing } at end of condition "
6433           "or expression inside \"%s\"; could be an unquoted } in the content",
6434           name);
6435         goto EXPAND_FAILED;
6436         }
6437
6438       while (isspace(*s)) s++;                          /*{*/
6439       if (*s++ != '}')
6440         {                                               /*{*/
6441         expand_string_message = string_sprintf("missing } at end of \"%s\"",
6442           name);
6443         goto EXPAND_FAILED;
6444         }
6445
6446       /* If we are skipping, we can now just move on to the next item. When
6447       processing for real, we perform the iteration. */
6448
6449       if (skipping) continue;
6450       while ((iterate_item = string_nextinlist(&list, &sep, NULL, 0)))
6451         {
6452         *outsep = (uschar)sep;      /* Separator as a string */
6453
6454         DEBUG(D_expand) debug_printf_indent("%s: $item = '%s'  $value = '%s'\n",
6455                           name, iterate_item, lookup_value);
6456
6457         if (item_type == EITEM_FILTER)
6458           {
6459           BOOL condresult;
6460           if (eval_condition(expr, &resetok, &condresult) == NULL)
6461             {
6462             iterate_item = save_iterate_item;
6463             lookup_value = save_lookup_value;
6464             expand_string_message = string_sprintf("%s inside \"%s\" condition",
6465               expand_string_message, name);
6466             goto EXPAND_FAILED;
6467             }
6468           DEBUG(D_expand) debug_printf_indent("%s: condition is %s\n", name,
6469             condresult? "true":"false");
6470           if (condresult)
6471             temp = iterate_item;    /* TRUE => include this item */
6472           else
6473             continue;               /* FALSE => skip this item */
6474           }
6475
6476         /* EITEM_MAP and EITEM_REDUCE */
6477
6478         else
6479           {
6480           uschar * t = expand_string_internal(expr, TRUE, NULL, skipping, TRUE, &resetok);
6481           temp = t;
6482           if (temp == NULL)
6483             {
6484             iterate_item = save_iterate_item;
6485             expand_string_message = string_sprintf("%s inside \"%s\" item",
6486               expand_string_message, name);
6487             goto EXPAND_FAILED;
6488             }
6489           if (item_type == EITEM_REDUCE)
6490             {
6491             lookup_value = t;         /* Update the value of $value */
6492             continue;                 /* and continue the iteration */
6493             }
6494           }
6495
6496         /* We reach here for FILTER if the condition is true, always for MAP,
6497         and never for REDUCE. The value in "temp" is to be added to the output
6498         list that is being created, ensuring that any occurrences of the
6499         separator character are doubled. Unless we are dealing with the first
6500         item of the output list, add in a space if the new item begins with the
6501         separator character, or is an empty string. */
6502
6503         if (yield->ptr != save_ptr && (temp[0] == *outsep || temp[0] == 0))
6504           yield = string_catn(yield, US" ", 1);
6505
6506         /* Add the string in "temp" to the output list that we are building,
6507         This is done in chunks by searching for the separator character. */
6508
6509         for (;;)
6510           {
6511           size_t seglen = Ustrcspn(temp, outsep);
6512
6513           yield = string_catn(yield, temp, seglen + 1);
6514
6515           /* If we got to the end of the string we output one character
6516           too many; backup and end the loop. Otherwise arrange to double the
6517           separator. */
6518
6519           if (temp[seglen] == '\0') { yield->ptr--; break; }
6520           yield = string_catn(yield, outsep, 1);
6521           temp += seglen + 1;
6522           }
6523
6524         /* Output a separator after the string: we will remove the redundant
6525         final one at the end. */
6526
6527         yield = string_catn(yield, outsep, 1);
6528         }   /* End of iteration over the list loop */
6529
6530       /* REDUCE has generated no output above: output the final value of
6531       $value. */
6532
6533       if (item_type == EITEM_REDUCE)
6534         {
6535         yield = string_cat(yield, lookup_value);
6536         lookup_value = save_lookup_value;  /* Restore $value */
6537         }
6538
6539       /* FILTER and MAP generate lists: if they have generated anything, remove
6540       the redundant final separator. Even though an empty item at the end of a
6541       list does not count, this is tidier. */
6542
6543       else if (yield->ptr != save_ptr) yield->ptr--;
6544
6545       /* Restore preserved $item */
6546
6547       iterate_item = save_iterate_item;
6548       continue;
6549       }
6550
6551     case EITEM_SORT:
6552       {
6553       int cond_type;
6554       int sep = 0;
6555       const uschar *srclist, *cmp, *xtract;
6556       uschar * opname, * srcitem;
6557       const uschar *dstlist = NULL, *dstkeylist = NULL;
6558       uschar * tmp;
6559       uschar *save_iterate_item = iterate_item;
6560
6561       while (isspace(*s)) s++;
6562       if (*s++ != '{')
6563         {
6564         expand_string_message = US"missing '{' for list arg of sort";
6565         goto EXPAND_FAILED_CURLY;
6566         }
6567
6568       srclist = expand_string_internal(s, TRUE, &s, skipping, TRUE, &resetok);
6569       if (!srclist) goto EXPAND_FAILED;
6570       if (*s++ != '}')
6571         {
6572         expand_string_message = US"missing '}' closing list arg of sort";
6573         goto EXPAND_FAILED_CURLY;
6574         }
6575
6576       while (isspace(*s)) s++;
6577       if (*s++ != '{')
6578         {
6579         expand_string_message = US"missing '{' for comparator arg of sort";
6580         goto EXPAND_FAILED_CURLY;
6581         }
6582
6583       cmp = expand_string_internal(s, TRUE, &s, skipping, FALSE, &resetok);
6584       if (!cmp) goto EXPAND_FAILED;
6585       if (*s++ != '}')
6586         {
6587         expand_string_message = US"missing '}' closing comparator arg of sort";
6588         goto EXPAND_FAILED_CURLY;
6589         }
6590
6591       if ((cond_type = identify_operator(&cmp, &opname)) == -1)
6592         {
6593         if (!expand_string_message)
6594           expand_string_message = string_sprintf("unknown condition \"%s\"", s);
6595         goto EXPAND_FAILED;
6596         }
6597       switch(cond_type)
6598         {
6599         case ECOND_NUM_L: case ECOND_NUM_LE:
6600         case ECOND_NUM_G: case ECOND_NUM_GE:
6601         case ECOND_STR_GE: case ECOND_STR_GEI: case ECOND_STR_GT: case ECOND_STR_GTI:
6602         case ECOND_STR_LE: case ECOND_STR_LEI: case ECOND_STR_LT: case ECOND_STR_LTI:
6603           break;
6604
6605         default:
6606           expand_string_message = US"comparator not handled for sort";
6607           goto EXPAND_FAILED;
6608         }
6609
6610       while (isspace(*s)) s++;
6611       if (*s++ != '{')
6612         {
6613         expand_string_message = US"missing '{' for extractor arg of sort";
6614         goto EXPAND_FAILED_CURLY;
6615         }
6616
6617       xtract = s;
6618       if (!(tmp = expand_string_internal(s, TRUE, &s, TRUE, TRUE, &resetok)))
6619         goto EXPAND_FAILED;
6620       xtract = string_copyn(xtract, s - xtract);
6621
6622       if (*s++ != '}')
6623         {
6624         expand_string_message = US"missing '}' closing extractor arg of sort";
6625         goto EXPAND_FAILED_CURLY;
6626         }
6627                                                         /*{*/
6628       if (*s++ != '}')
6629         {                                               /*{*/
6630         expand_string_message = US"missing } at end of \"sort\"";
6631         goto EXPAND_FAILED;
6632         }
6633
6634       if (skipping) continue;
6635
6636       while ((srcitem = string_nextinlist(&srclist, &sep, NULL, 0)))
6637         {
6638         uschar * srcfield, * dstitem;
6639         gstring * newlist = NULL;
6640         gstring * newkeylist = NULL;
6641
6642         DEBUG(D_expand) debug_printf_indent("%s: $item = \"%s\"\n", name, srcitem);
6643
6644         /* extract field for comparisons */
6645         iterate_item = srcitem;
6646         if (  !(srcfield = expand_string_internal(xtract, FALSE, NULL, FALSE,
6647                                           TRUE, &resetok))
6648            || !*srcfield)
6649           {
6650           expand_string_message = string_sprintf(
6651               "field-extract in sort: \"%s\"", xtract);
6652           goto EXPAND_FAILED;
6653           }
6654
6655         /* Insertion sort */
6656
6657         /* copy output list until new-item < list-item */
6658         while ((dstitem = string_nextinlist(&dstlist, &sep, NULL, 0)))
6659           {
6660           uschar * dstfield;
6661
6662           /* field for comparison */
6663           if (!(dstfield = string_nextinlist(&dstkeylist, &sep, NULL, 0)))
6664             goto sort_mismatch;
6665
6666           /* String-comparator names start with a letter; numeric names do not */
6667
6668           if (sortsbefore(cond_type, isalpha(opname[0]),
6669               srcfield, dstfield))
6670             {
6671             /* New-item sorts before this dst-item.  Append new-item,
6672             then dst-item, then remainder of dst list. */
6673
6674             newlist = string_append_listele(newlist, sep, srcitem);
6675             newkeylist = string_append_listele(newkeylist, sep, srcfield);
6676             srcitem = NULL;
6677
6678             newlist = string_append_listele(newlist, sep, dstitem);
6679             newkeylist = string_append_listele(newkeylist, sep, dstfield);
6680
6681 /*XXX why field-at-a-time copy?  Why not just dup the rest of the list? */
6682             while ((dstitem = string_nextinlist(&dstlist, &sep, NULL, 0)))
6683               {
6684               if (!(dstfield = string_nextinlist(&dstkeylist, &sep, NULL, 0)))
6685                 goto sort_mismatch;
6686               newlist = string_append_listele(newlist, sep, dstitem);
6687               newkeylist = string_append_listele(newkeylist, sep, dstfield);
6688               }
6689
6690             break;
6691             }
6692
6693           newlist = string_append_listele(newlist, sep, dstitem);
6694           newkeylist = string_append_listele(newkeylist, sep, dstfield);
6695           }
6696
6697         /* If we ran out of dstlist without consuming srcitem, append it */
6698         if (srcitem)
6699           {
6700           newlist = string_append_listele(newlist, sep, srcitem);
6701           newkeylist = string_append_listele(newkeylist, sep, srcfield);
6702           }
6703
6704         dstlist = newlist->s;
6705         dstkeylist = newkeylist->s;
6706
6707         DEBUG(D_expand) debug_printf_indent("%s: dstlist = \"%s\"\n", name, dstlist);
6708         DEBUG(D_expand) debug_printf_indent("%s: dstkeylist = \"%s\"\n", name, dstkeylist);
6709         }
6710
6711       if (dstlist)
6712         yield = string_cat(yield, dstlist);
6713
6714       /* Restore preserved $item */
6715       iterate_item = save_iterate_item;
6716       continue;
6717
6718       sort_mismatch:
6719         expand_string_message = US"Internal error in sort (list mismatch)";
6720         goto EXPAND_FAILED;
6721       }
6722
6723
6724     /* If ${dlfunc } support is configured, handle calling dynamically-loaded
6725     functions, unless locked out at this time. Syntax is ${dlfunc{file}{func}}
6726     or ${dlfunc{file}{func}{arg}} or ${dlfunc{file}{func}{arg1}{arg2}} or up to
6727     a maximum of EXPAND_DLFUNC_MAX_ARGS arguments (defined below). */
6728
6729     #define EXPAND_DLFUNC_MAX_ARGS 8
6730
6731     case EITEM_DLFUNC:
6732 #ifndef EXPAND_DLFUNC
6733       expand_string_message = US"\"${dlfunc\" encountered, but this facility "  /*}*/
6734         "is not included in this binary";
6735       goto EXPAND_FAILED;
6736
6737 #else   /* EXPAND_DLFUNC */
6738       {
6739       tree_node *t;
6740       exim_dlfunc_t *func;
6741       uschar *result;
6742       int status, argc;
6743       uschar *argv[EXPAND_DLFUNC_MAX_ARGS + 3];
6744
6745       if ((expand_forbid & RDO_DLFUNC) != 0)
6746         {
6747         expand_string_message =
6748           US"dynamically-loaded functions are not permitted";
6749         goto EXPAND_FAILED;
6750         }
6751
6752       switch(read_subs(argv, EXPAND_DLFUNC_MAX_ARGS + 2, 2, &s, skipping,
6753            TRUE, US"dlfunc", &resetok))
6754         {
6755         case 1: goto EXPAND_FAILED_CURLY;
6756         case 2:
6757         case 3: goto EXPAND_FAILED;
6758         }
6759
6760       /* If skipping, we don't actually do anything */
6761
6762       if (skipping) continue;
6763
6764       /* Look up the dynamically loaded object handle in the tree. If it isn't
6765       found, dlopen() the file and put the handle in the tree for next time. */
6766
6767       if (!(t = tree_search(dlobj_anchor, argv[0])))
6768         {
6769         void *handle = dlopen(CS argv[0], RTLD_LAZY);
6770         if (handle == NULL)
6771           {
6772           expand_string_message = string_sprintf("dlopen \"%s\" failed: %s",
6773             argv[0], dlerror());
6774           log_write(0, LOG_MAIN|LOG_PANIC, "%s", expand_string_message);
6775           goto EXPAND_FAILED;
6776           }
6777         t = store_get_perm(sizeof(tree_node) + Ustrlen(argv[0]), is_tainted(argv[0]));
6778         Ustrcpy(t->name, argv[0]);
6779         t->data.ptr = handle;
6780         (void)tree_insertnode(&dlobj_anchor, t);
6781         }
6782
6783       /* Having obtained the dynamically loaded object handle, look up the
6784       function pointer. */
6785
6786       func = (exim_dlfunc_t *)dlsym(t->data.ptr, CS argv[1]);
6787       if (func == NULL)
6788         {
6789         expand_string_message = string_sprintf("dlsym \"%s\" in \"%s\" failed: "
6790           "%s", argv[1], argv[0], dlerror());
6791         log_write(0, LOG_MAIN|LOG_PANIC, "%s", expand_string_message);
6792         goto EXPAND_FAILED;
6793         }
6794
6795       /* Call the function and work out what to do with the result. If it
6796       returns OK, we have a replacement string; if it returns DEFER then
6797       expansion has failed in a non-forced manner; if it returns FAIL then
6798       failure was forced; if it returns ERROR or any other value there's a
6799       problem, so panic slightly. In any case, assume that the function has
6800       side-effects on the store that must be preserved. */
6801
6802       resetok = FALSE;
6803       result = NULL;
6804       for (argc = 0; argv[argc] != NULL; argc++);
6805       status = func(&result, argc - 2, &argv[2]);
6806       if(status == OK)
6807         {
6808         if (result == NULL) result = US"";
6809         yield = string_cat(yield, result);
6810         continue;
6811         }
6812       else
6813         {
6814         expand_string_message = result == NULL ? US"(no message)" : result;
6815         if(status == FAIL_FORCED) f.expand_string_forcedfail = TRUE;
6816           else if(status != FAIL)
6817             log_write(0, LOG_MAIN|LOG_PANIC, "dlfunc{%s}{%s} failed (%d): %s",
6818               argv[0], argv[1], status, expand_string_message);
6819         goto EXPAND_FAILED;
6820         }
6821       }
6822 #endif /* EXPAND_DLFUNC */
6823
6824     case EITEM_ENV:     /* ${env {name} {val_if_found} {val_if_unfound}} */
6825       {
6826       uschar * key;
6827       uschar *save_lookup_value = lookup_value;
6828
6829       while (isspace(*s)) s++;
6830       if (*s != '{')                                    /*}*/
6831         goto EXPAND_FAILED;
6832
6833       key = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
6834       if (!key) goto EXPAND_FAILED;                     /*{*/
6835       if (*s++ != '}')
6836         {
6837         expand_string_message = US"missing '{' for name arg of env";
6838         goto EXPAND_FAILED_CURLY;
6839         }
6840
6841       lookup_value = US getenv(CS key);
6842
6843       switch(process_yesno(
6844                skipping,                     /* were previously skipping */
6845                lookup_value != NULL,         /* success/failure indicator */
6846                save_lookup_value,            /* value to reset for string2 */
6847                &s,                           /* input pointer */
6848                &yield,                       /* output pointer */
6849                US"env",                      /* condition type */
6850                &resetok))
6851         {
6852         case 1: goto EXPAND_FAILED;          /* when all is well, the */
6853         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
6854         }
6855       continue;
6856       }
6857
6858 #ifdef EXPERIMENTAL_SRS_NATIVE
6859     case EITEM_SRS_ENCODE:
6860       /* ${srs_encode {secret} {return_path} {orig_domain}} */
6861       {
6862       uschar * sub[3];
6863       uschar cksum[4];
6864
6865       switch (read_subs(sub, 3, 3, CUSS &s, skipping, TRUE, name, &resetok))
6866         {
6867         case 1: goto EXPAND_FAILED_CURLY;
6868         case 2:
6869         case 3: goto EXPAND_FAILED;
6870         }
6871
6872       yield = string_catn(yield, US"SRS0=", 5);
6873
6874       /* ${l_4:${hmac{md5}{SRS_SECRET}{${lc:$return_path}}}}= */
6875       hmac_md5(sub[0], string_copylc(sub[1]), cksum, sizeof(cksum));
6876       yield = string_catn(yield, cksum, sizeof(cksum));
6877       yield = string_catn(yield, US"=", 1);
6878
6879       /* ${base32:${eval:$tod_epoch/86400&0x3ff}}= */
6880         {
6881         struct timeval now;
6882         unsigned long i;
6883         gstring * g = NULL;
6884
6885         gettimeofday(&now, NULL);
6886         for (unsigned long i = (now.tv_sec / 86400) & 0x3ff; i; i >>= 5)
6887           g = string_catn(g, &base32_chars[i & 0x1f], 1);
6888         if (g) while (g->ptr > 0)
6889           yield = string_catn(yield, &g->s[--g->ptr], 1);
6890         }
6891       yield = string_catn(yield, US"=", 1);
6892
6893       /* ${domain:$return_path}=${local_part:$return_path} */
6894         {
6895         int start, end, domain;
6896         uschar * t = parse_extract_address(sub[1], &expand_string_message,
6897                                           &start, &end, &domain, FALSE);
6898         if (!t)
6899           goto EXPAND_FAILED;
6900
6901         if (domain > 0) yield = string_cat(yield, t + domain);
6902         yield = string_catn(yield, US"=", 1);
6903         yield = domain > 0
6904           ? string_catn(yield, t, domain - 1) : string_cat(yield, t);
6905         }
6906
6907       /* @$original_domain */
6908       yield = string_catn(yield, US"@", 1);
6909       yield = string_cat(yield, sub[2]);
6910       continue;
6911       }
6912 #endif /*EXPERIMENTAL_SRS_NATIVE*/
6913     }   /* EITEM_* switch */
6914
6915   /* Control reaches here if the name is not recognized as one of the more
6916   complicated expansion items. Check for the "operator" syntax (name terminated
6917   by a colon). Some of the operators have arguments, separated by _ from the
6918   name. */
6919
6920   if (*s == ':')
6921     {
6922     int c;
6923     uschar *arg = NULL;
6924     uschar *sub;
6925 #ifndef DISABLE_TLS
6926     var_entry *vp = NULL;
6927 #endif
6928
6929     /* Owing to an historical mis-design, an underscore may be part of the
6930     operator name, or it may introduce arguments.  We therefore first scan the
6931     table of names that contain underscores. If there is no match, we cut off
6932     the arguments and then scan the main table. */
6933
6934     if ((c = chop_match(name, op_table_underscore,
6935                         nelem(op_table_underscore))) < 0)
6936       {
6937       arg = Ustrchr(name, '_');
6938       if (arg != NULL) *arg = 0;
6939       c = chop_match(name, op_table_main, nelem(op_table_main));
6940       if (c >= 0) c += nelem(op_table_underscore);
6941       if (arg != NULL) *arg++ = '_';   /* Put back for error messages */
6942       }
6943
6944     /* Deal specially with operators that might take a certificate variable
6945     as we do not want to do the usual expansion. For most, expand the string.*/
6946     switch(c)
6947       {
6948 #ifndef DISABLE_TLS
6949       case EOP_MD5:
6950       case EOP_SHA1:
6951       case EOP_SHA256:
6952       case EOP_BASE64:
6953         if (s[1] == '$')
6954           {
6955           const uschar * s1 = s;
6956           sub = expand_string_internal(s+2, TRUE, &s1, skipping,
6957                   FALSE, &resetok);
6958           if (!sub)       goto EXPAND_FAILED;           /*{*/
6959           if (*s1 != '}')
6960             {
6961             expand_string_message =
6962               string_sprintf("missing '}' closing cert arg of %s", name);
6963             goto EXPAND_FAILED_CURLY;
6964             }
6965           if ((vp = find_var_ent(sub)) && vp->type == vtype_cert)
6966             {
6967             s = s1+1;
6968             break;
6969             }
6970           vp = NULL;
6971           }
6972         /*FALLTHROUGH*/
6973 #endif
6974       default:
6975         sub = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
6976         if (!sub) goto EXPAND_FAILED;
6977         s++;
6978         break;
6979       }
6980
6981     /* If we are skipping, we don't need to perform the operation at all.
6982     This matters for operations like "mask", because the data may not be
6983     in the correct format when skipping. For example, the expression may test
6984     for the existence of $sender_host_address before trying to mask it. For
6985     other operations, doing them may not fail, but it is a waste of time. */
6986
6987     if (skipping && c >= 0) continue;
6988
6989     /* Otherwise, switch on the operator type */
6990
6991     switch(c)
6992       {
6993       case EOP_BASE32:
6994         {
6995         uschar *t;
6996         unsigned long int n = Ustrtoul(sub, &t, 10);
6997         gstring * g = NULL;
6998
6999         if (*t != 0)
7000           {
7001           expand_string_message = string_sprintf("argument for base32 "
7002             "operator is \"%s\", which is not a decimal number", sub);
7003           goto EXPAND_FAILED;
7004           }
7005         for ( ; n; n >>= 5)
7006           g = string_catn(g, &base32_chars[n & 0x1f], 1);
7007
7008         if (g) while (g->ptr > 0) yield = string_catn(yield, &g->s[--g->ptr], 1);
7009         continue;
7010         }
7011
7012       case EOP_BASE32D:
7013         {
7014         uschar *tt = sub;
7015         unsigned long int n = 0;
7016         uschar * s;
7017         while (*tt)
7018           {
7019           uschar * t = Ustrchr(base32_chars, *tt++);
7020           if (t == NULL)
7021             {
7022             expand_string_message = string_sprintf("argument for base32d "
7023               "operator is \"%s\", which is not a base 32 number", sub);
7024             goto EXPAND_FAILED;
7025             }
7026           n = n * 32 + (t - base32_chars);
7027           }
7028         s = string_sprintf("%ld", n);
7029         yield = string_cat(yield, s);
7030         continue;
7031         }
7032
7033       case EOP_BASE62:
7034         {
7035         uschar *t;
7036         unsigned long int n = Ustrtoul(sub, &t, 10);
7037         if (*t != 0)
7038           {
7039           expand_string_message = string_sprintf("argument for base62 "
7040             "operator is \"%s\", which is not a decimal number", sub);
7041           goto EXPAND_FAILED;
7042           }
7043         t = string_base62(n);
7044         yield = string_cat(yield, t);
7045         continue;
7046         }
7047
7048       /* Note that for Darwin and Cygwin, BASE_62 actually has the value 36 */
7049
7050       case EOP_BASE62D:
7051         {
7052         uschar *tt = sub;
7053         unsigned long int n = 0;
7054         while (*tt != 0)
7055           {
7056           uschar *t = Ustrchr(base62_chars, *tt++);
7057           if (t == NULL)
7058             {
7059             expand_string_message = string_sprintf("argument for base62d "
7060               "operator is \"%s\", which is not a base %d number", sub,
7061               BASE_62);
7062             goto EXPAND_FAILED;
7063             }
7064           n = n * BASE_62 + (t - base62_chars);
7065           }
7066         yield = string_fmt_append(yield, "%ld", n);
7067         continue;
7068         }
7069
7070       case EOP_EXPAND:
7071         {
7072         uschar *expanded = expand_string_internal(sub, FALSE, NULL, skipping, TRUE, &resetok);
7073         if (expanded == NULL)
7074           {
7075           expand_string_message =
7076             string_sprintf("internal expansion of \"%s\" failed: %s", sub,
7077               expand_string_message);
7078           goto EXPAND_FAILED;
7079           }
7080         yield = string_cat(yield, expanded);
7081         continue;
7082         }
7083
7084       case EOP_LC:
7085         {
7086         int count = 0;
7087         uschar *t = sub - 1;
7088         while (*(++t) != 0) { *t = tolower(*t); count++; }
7089         yield = string_catn(yield, sub, count);
7090         continue;
7091         }
7092
7093       case EOP_UC:
7094         {
7095         int count = 0;
7096         uschar *t = sub - 1;
7097         while (*(++t) != 0) { *t = toupper(*t); count++; }
7098         yield = string_catn(yield, sub, count);
7099         continue;
7100         }
7101
7102       case EOP_MD5:
7103 #ifndef DISABLE_TLS
7104         if (vp && *(void **)vp->value)
7105           {
7106           uschar * cp = tls_cert_fprt_md5(*(void **)vp->value);
7107           yield = string_cat(yield, cp);
7108           }
7109         else
7110 #endif
7111           {
7112           md5 base;
7113           uschar digest[16];
7114           md5_start(&base);
7115           md5_end(&base, sub, Ustrlen(sub), digest);
7116           for (int j = 0; j < 16; j++)
7117             yield = string_fmt_append(yield, "%02x", digest[j]);
7118           }
7119         continue;
7120
7121       case EOP_SHA1:
7122 #ifndef DISABLE_TLS
7123         if (vp && *(void **)vp->value)
7124           {
7125           uschar * cp = tls_cert_fprt_sha1(*(void **)vp->value);
7126           yield = string_cat(yield, cp);
7127           }
7128         else
7129 #endif
7130           {
7131           hctx h;
7132           uschar digest[20];
7133           sha1_start(&h);
7134           sha1_end(&h, sub, Ustrlen(sub), digest);
7135           for (int j = 0; j < 20; j++)
7136             yield = string_fmt_append(yield, "%02X", digest[j]);
7137           }
7138         continue;
7139
7140       case EOP_SHA2:
7141       case EOP_SHA256:
7142 #ifdef EXIM_HAVE_SHA2
7143         if (vp && *(void **)vp->value)
7144           if (c == EOP_SHA256)
7145             yield = string_cat(yield, tls_cert_fprt_sha256(*(void **)vp->value));
7146           else
7147             expand_string_message = US"sha2_N not supported with certificates";
7148         else
7149           {
7150           hctx h;
7151           blob b;
7152           hashmethod m = !arg ? HASH_SHA2_256
7153             : Ustrcmp(arg, "256") == 0 ? HASH_SHA2_256
7154             : Ustrcmp(arg, "384") == 0 ? HASH_SHA2_384
7155             : Ustrcmp(arg, "512") == 0 ? HASH_SHA2_512
7156             : HASH_BADTYPE;
7157
7158           if (m == HASH_BADTYPE || !exim_sha_init(&h, m))
7159             {
7160             expand_string_message = US"unrecognised sha2 variant";
7161             goto EXPAND_FAILED;
7162             }
7163
7164           exim_sha_update(&h, sub, Ustrlen(sub));
7165           exim_sha_finish(&h, &b);
7166           while (b.len-- > 0)
7167             yield = string_fmt_append(yield, "%02X", *b.data++);
7168           }
7169 #else
7170           expand_string_message = US"sha256 only supported with TLS";
7171 #endif
7172         continue;
7173
7174       case EOP_SHA3:
7175 #ifdef EXIM_HAVE_SHA3
7176         {
7177         hctx h;
7178         blob b;
7179         hashmethod m = !arg ? HASH_SHA3_256
7180           : Ustrcmp(arg, "224") == 0 ? HASH_SHA3_224
7181           : Ustrcmp(arg, "256") == 0 ? HASH_SHA3_256
7182           : Ustrcmp(arg, "384") == 0 ? HASH_SHA3_384
7183           : Ustrcmp(arg, "512") == 0 ? HASH_SHA3_512
7184           : HASH_BADTYPE;
7185
7186         if (m == HASH_BADTYPE || !exim_sha_init(&h, m))
7187           {
7188           expand_string_message = US"unrecognised sha3 variant";
7189           goto EXPAND_FAILED;
7190           }
7191
7192         exim_sha_update(&h, sub, Ustrlen(sub));
7193         exim_sha_finish(&h, &b);
7194         while (b.len-- > 0)
7195           yield = string_fmt_append(yield, "%02X", *b.data++);
7196         }
7197         continue;
7198 #else
7199         expand_string_message = US"sha3 only supported with GnuTLS 3.5.0 + or OpenSSL 1.1.1 +";
7200         goto EXPAND_FAILED;
7201 #endif
7202
7203       /* Convert hex encoding to base64 encoding */
7204
7205       case EOP_HEX2B64:
7206         {
7207         int c = 0;
7208         int b = -1;
7209         uschar *in = sub;
7210         uschar *out = sub;
7211         uschar *enc;
7212
7213         for (enc = sub; *enc; enc++)
7214           {
7215           if (!isxdigit(*enc))
7216             {
7217             expand_string_message = string_sprintf("\"%s\" is not a hex "
7218               "string", sub);
7219             goto EXPAND_FAILED;
7220             }
7221           c++;
7222           }
7223
7224         if ((c & 1) != 0)
7225           {
7226           expand_string_message = string_sprintf("\"%s\" contains an odd "
7227             "number of characters", sub);
7228           goto EXPAND_FAILED;
7229           }
7230
7231         while ((c = *in++) != 0)
7232           {
7233           if (isdigit(c)) c -= '0';
7234           else c = toupper(c) - 'A' + 10;
7235           if (b == -1)
7236             b = c << 4;
7237           else
7238             {
7239             *out++ = b | c;
7240             b = -1;
7241             }
7242           }
7243
7244         enc = b64encode(CUS sub, out - sub);
7245         yield = string_cat(yield, enc);
7246         continue;
7247         }
7248
7249       /* Convert octets outside 0x21..0x7E to \xXX form */
7250
7251       case EOP_HEXQUOTE:
7252         {
7253         uschar *t = sub - 1;
7254         while (*(++t) != 0)
7255           {
7256           if (*t < 0x21 || 0x7E < *t)
7257             yield = string_fmt_append(yield, "\\x%02x", *t);
7258           else
7259             yield = string_catn(yield, t, 1);
7260           }
7261         continue;
7262         }
7263
7264       /* count the number of list elements */
7265
7266       case EOP_LISTCOUNT:
7267         {
7268         int cnt = 0;
7269         int sep = 0;
7270         uschar buffer[256];
7271
7272         while (string_nextinlist(CUSS &sub, &sep, buffer, sizeof(buffer)) != NULL) cnt++;
7273         yield = string_fmt_append(yield, "%d", cnt);
7274         continue;
7275         }
7276
7277       /* expand a named list given the name */
7278       /* handles nested named lists; requotes as colon-sep list */
7279
7280       case EOP_LISTNAMED:
7281         {
7282         tree_node *t = NULL;
7283         const uschar * list;
7284         int sep = 0;
7285         uschar * item;
7286         uschar * suffix = US"";
7287         BOOL needsep = FALSE;
7288         uschar buffer[256];
7289
7290         if (*sub == '+') sub++;
7291         if (arg == NULL)        /* no-argument version */
7292           {
7293           if (!(t = tree_search(addresslist_anchor, sub)) &&
7294               !(t = tree_search(domainlist_anchor,  sub)) &&
7295               !(t = tree_search(hostlist_anchor,    sub)))
7296             t = tree_search(localpartlist_anchor, sub);
7297           }
7298         else switch(*arg)       /* specific list-type version */
7299           {
7300           case 'a': t = tree_search(addresslist_anchor,   sub); suffix = US"_a"; break;
7301           case 'd': t = tree_search(domainlist_anchor,    sub); suffix = US"_d"; break;
7302           case 'h': t = tree_search(hostlist_anchor,      sub); suffix = US"_h"; break;
7303           case 'l': t = tree_search(localpartlist_anchor, sub); suffix = US"_l"; break;
7304           default:
7305             expand_string_message = US"bad suffix on \"list\" operator";
7306             goto EXPAND_FAILED;
7307           }
7308
7309         if(!t)
7310           {
7311           expand_string_message = string_sprintf("\"%s\" is not a %snamed list",
7312             sub, !arg?""
7313               : *arg=='a'?"address "
7314               : *arg=='d'?"domain "
7315               : *arg=='h'?"host "
7316               : *arg=='l'?"localpart "
7317               : 0);
7318           goto EXPAND_FAILED;
7319           }
7320
7321         list = ((namedlist_block *)(t->data.ptr))->string;
7322
7323         while ((item = string_nextinlist(&list, &sep, buffer, sizeof(buffer))))
7324           {
7325           uschar * buf = US" : ";
7326           if (needsep)
7327             yield = string_catn(yield, buf, 3);
7328           else
7329             needsep = TRUE;
7330
7331           if (*item == '+')     /* list item is itself a named list */
7332             {
7333             uschar * sub = string_sprintf("${listnamed%s:%s}", suffix, item);
7334             item = expand_string_internal(sub, FALSE, NULL, FALSE, TRUE, &resetok);
7335             }
7336           else if (sep != ':')  /* item from non-colon-sep list, re-quote for colon list-separator */
7337             {
7338             char * cp;
7339             char tok[3];
7340             tok[0] = sep; tok[1] = ':'; tok[2] = 0;
7341             while ((cp= strpbrk(CCS item, tok)))
7342               {
7343               yield = string_catn(yield, item, cp - CS item);
7344               if (*cp++ == ':') /* colon in a non-colon-sep list item, needs doubling */
7345                 {
7346                 yield = string_catn(yield, US"::", 2);
7347                 item = US cp;
7348                 }
7349               else              /* sep in item; should already be doubled; emit once */
7350                 {
7351                 yield = string_catn(yield, US tok, 1);
7352                 if (*cp == sep) cp++;
7353                 item = US cp;
7354                 }
7355               }
7356             }
7357           yield = string_cat(yield, item);
7358           }
7359         continue;
7360         }
7361
7362       /* mask applies a mask to an IP address; for example the result of
7363       ${mask:131.111.10.206/28} is 131.111.10.192/28. */
7364
7365       case EOP_MASK:
7366         {
7367         int count;
7368         uschar *endptr;
7369         int binary[4];
7370         int mask, maskoffset;
7371         int type = string_is_ip_address(sub, &maskoffset);
7372         uschar buffer[64];
7373
7374         if (type == 0)
7375           {
7376           expand_string_message = string_sprintf("\"%s\" is not an IP address",
7377            sub);
7378           goto EXPAND_FAILED;
7379           }
7380
7381         if (maskoffset == 0)
7382           {
7383           expand_string_message = string_sprintf("missing mask value in \"%s\"",
7384             sub);
7385           goto EXPAND_FAILED;
7386           }
7387
7388         mask = Ustrtol(sub + maskoffset + 1, &endptr, 10);
7389
7390         if (*endptr != 0 || mask < 0 || mask > ((type == 4)? 32 : 128))
7391           {
7392           expand_string_message = string_sprintf("mask value too big in \"%s\"",
7393             sub);
7394           goto EXPAND_FAILED;
7395           }
7396
7397         /* Convert the address to binary integer(s) and apply the mask */
7398
7399         sub[maskoffset] = 0;
7400         count = host_aton(sub, binary);
7401         host_mask(count, binary, mask);
7402
7403         /* Convert to masked textual format and add to output. */
7404
7405         yield = string_catn(yield, buffer,
7406           host_nmtoa(count, binary, mask, buffer, '.'));
7407         continue;
7408         }
7409
7410       case EOP_IPV6NORM:
7411       case EOP_IPV6DENORM:
7412         {
7413         int type = string_is_ip_address(sub, NULL);
7414         int binary[4];
7415         uschar buffer[44];
7416
7417         switch (type)
7418           {
7419           case 6:
7420             (void) host_aton(sub, binary);
7421             break;
7422
7423           case 4:       /* convert to IPv4-mapped IPv6 */
7424             binary[0] = binary[1] = 0;
7425             binary[2] = 0x0000ffff;
7426             (void) host_aton(sub, binary+3);
7427             break;
7428
7429           case 0:
7430             expand_string_message =
7431               string_sprintf("\"%s\" is not an IP address", sub);
7432             goto EXPAND_FAILED;
7433           }
7434
7435         yield = string_catn(yield, buffer, c == EOP_IPV6NORM
7436                     ? ipv6_nmtoa(binary, buffer)
7437                     : host_nmtoa(4, binary, -1, buffer, ':')
7438                   );
7439         continue;
7440         }
7441
7442       case EOP_ADDRESS:
7443       case EOP_LOCAL_PART:
7444       case EOP_DOMAIN:
7445         {
7446         uschar * error;
7447         int start, end, domain;
7448         uschar * t = parse_extract_address(sub, &error, &start, &end, &domain,
7449           FALSE);
7450         if (t)
7451           if (c != EOP_DOMAIN)
7452             yield = c == EOP_LOCAL_PART && domain > 0
7453               ? string_catn(yield, t, domain - 1)
7454               : string_cat(yield, t);
7455           else if (domain > 0)
7456             yield = string_cat(yield, t + domain);
7457         continue;
7458         }
7459
7460       case EOP_ADDRESSES:
7461         {
7462         uschar outsep[2] = { ':', '\0' };
7463         uschar *address, *error;
7464         int save_ptr = yield->ptr;
7465         int start, end, domain;  /* Not really used */
7466
7467         while (isspace(*sub)) sub++;
7468         if (*sub == '>')
7469           if (*outsep = *++sub) ++sub;
7470           else
7471             {
7472             expand_string_message = string_sprintf("output separator "
7473               "missing in expanding ${addresses:%s}", --sub);
7474             goto EXPAND_FAILED;
7475             }
7476         f.parse_allow_group = TRUE;
7477
7478         for (;;)
7479           {
7480           uschar * p = parse_find_address_end(sub, FALSE);
7481           uschar saveend = *p;
7482           *p = '\0';
7483           address = parse_extract_address(sub, &error, &start, &end, &domain,
7484             FALSE);
7485           *p = saveend;
7486
7487           /* Add the address to the output list that we are building. This is
7488           done in chunks by searching for the separator character. At the
7489           start, unless we are dealing with the first address of the output
7490           list, add in a space if the new address begins with the separator
7491           character, or is an empty string. */
7492
7493           if (address)
7494             {
7495             if (yield->ptr != save_ptr && address[0] == *outsep)
7496               yield = string_catn(yield, US" ", 1);
7497
7498             for (;;)
7499               {
7500               size_t seglen = Ustrcspn(address, outsep);
7501               yield = string_catn(yield, address, seglen + 1);
7502
7503               /* If we got to the end of the string we output one character
7504               too many. */
7505
7506               if (address[seglen] == '\0') { yield->ptr--; break; }
7507               yield = string_catn(yield, outsep, 1);
7508               address += seglen + 1;
7509               }
7510
7511             /* Output a separator after the string: we will remove the
7512             redundant final one at the end. */
7513
7514             yield = string_catn(yield, outsep, 1);
7515             }
7516
7517           if (saveend == '\0') break;
7518           sub = p + 1;
7519           }
7520
7521         /* If we have generated anything, remove the redundant final
7522         separator. */
7523
7524         if (yield->ptr != save_ptr) yield->ptr--;
7525         f.parse_allow_group = FALSE;
7526         continue;
7527         }
7528
7529
7530       /* quote puts a string in quotes if it is empty or contains anything
7531       other than alphamerics, underscore, dot, or hyphen.
7532
7533       quote_local_part puts a string in quotes if RFC 2821/2822 requires it to
7534       be quoted in order to be a valid local part.
7535
7536       In both cases, newlines and carriage returns are converted into \n and \r
7537       respectively */
7538
7539       case EOP_QUOTE:
7540       case EOP_QUOTE_LOCAL_PART:
7541       if (arg == NULL)
7542         {
7543         BOOL needs_quote = (*sub == 0);      /* TRUE for empty string */
7544         uschar *t = sub - 1;
7545
7546         if (c == EOP_QUOTE)
7547           {
7548           while (!needs_quote && *(++t) != 0)
7549             needs_quote = !isalnum(*t) && !strchr("_-.", *t);
7550           }
7551         else  /* EOP_QUOTE_LOCAL_PART */
7552           {
7553           while (!needs_quote && *(++t) != 0)
7554             needs_quote = !isalnum(*t) &&
7555               strchr("!#$%&'*+-/=?^_`{|}~", *t) == NULL &&
7556               (*t != '.' || t == sub || t[1] == 0);
7557           }
7558
7559         if (needs_quote)
7560           {
7561           yield = string_catn(yield, US"\"", 1);
7562           t = sub - 1;
7563           while (*(++t) != 0)
7564             {
7565             if (*t == '\n')
7566               yield = string_catn(yield, US"\\n", 2);
7567             else if (*t == '\r')
7568               yield = string_catn(yield, US"\\r", 2);
7569             else
7570               {
7571               if (*t == '\\' || *t == '"')
7572                 yield = string_catn(yield, US"\\", 1);
7573               yield = string_catn(yield, t, 1);
7574               }
7575             }
7576           yield = string_catn(yield, US"\"", 1);
7577           }
7578         else yield = string_cat(yield, sub);
7579         continue;
7580         }
7581
7582       /* quote_lookuptype does lookup-specific quoting */
7583
7584       else
7585         {
7586         int n;
7587         uschar *opt = Ustrchr(arg, '_');
7588
7589         if (opt != NULL) *opt++ = 0;
7590
7591         n = search_findtype(arg, Ustrlen(arg));
7592         if (n < 0)
7593           {
7594           expand_string_message = search_error_message;
7595           goto EXPAND_FAILED;
7596           }
7597
7598         if (lookup_list[n]->quote != NULL)
7599           sub = (lookup_list[n]->quote)(sub, opt);
7600         else if (opt != NULL) sub = NULL;
7601
7602         if (sub == NULL)
7603           {
7604           expand_string_message = string_sprintf(
7605             "\"%s\" unrecognized after \"${quote_%s\"",
7606             opt, arg);
7607           goto EXPAND_FAILED;
7608           }
7609
7610         yield = string_cat(yield, sub);
7611         continue;
7612         }
7613
7614       /* rx quote sticks in \ before any non-alphameric character so that
7615       the insertion works in a regular expression. */
7616
7617       case EOP_RXQUOTE:
7618         {
7619         uschar *t = sub - 1;
7620         while (*(++t) != 0)
7621           {
7622           if (!isalnum(*t))
7623             yield = string_catn(yield, US"\\", 1);
7624           yield = string_catn(yield, t, 1);
7625           }
7626         continue;
7627         }
7628
7629       /* RFC 2047 encodes, assuming headers_charset (default ISO 8859-1) as
7630       prescribed by the RFC, if there are characters that need to be encoded */
7631
7632       case EOP_RFC2047:
7633         {
7634         uschar buffer[2048];
7635         yield = string_cat(yield,
7636                             parse_quote_2047(sub, Ustrlen(sub), headers_charset,
7637                               buffer, sizeof(buffer), FALSE));
7638         continue;
7639         }
7640
7641       /* RFC 2047 decode */
7642
7643       case EOP_RFC2047D:
7644         {
7645         int len;
7646         uschar *error;
7647         uschar *decoded = rfc2047_decode(sub, check_rfc2047_length,
7648           headers_charset, '?', &len, &error);
7649         if (error != NULL)
7650           {
7651           expand_string_message = error;
7652           goto EXPAND_FAILED;
7653           }
7654         yield = string_catn(yield, decoded, len);
7655         continue;
7656         }
7657
7658       /* from_utf8 converts UTF-8 to 8859-1, turning non-existent chars into
7659       underscores */
7660
7661       case EOP_FROM_UTF8:
7662         {
7663         while (*sub != 0)
7664           {
7665           int c;
7666           uschar buff[4];
7667           GETUTF8INC(c, sub);
7668           if (c > 255) c = '_';
7669           buff[0] = c;
7670           yield = string_catn(yield, buff, 1);
7671           }
7672         continue;
7673         }
7674
7675           /* replace illegal UTF-8 sequences by replacement character  */
7676
7677       #define UTF8_REPLACEMENT_CHAR US"?"
7678
7679       case EOP_UTF8CLEAN:
7680         {
7681         int seq_len = 0, index = 0;
7682         int bytes_left = 0;
7683         long codepoint = -1;
7684         int complete;
7685         uschar seq_buff[4];                     /* accumulate utf-8 here */
7686
7687         while (*sub != 0)
7688           {
7689           complete = 0;
7690           uschar c = *sub++;
7691
7692           if (bytes_left)
7693             {
7694             if ((c & 0xc0) != 0x80)
7695                     /* wrong continuation byte; invalidate all bytes */
7696               complete = 1; /* error */
7697             else
7698               {
7699               codepoint = (codepoint << 6) | (c & 0x3f);
7700               seq_buff[index++] = c;
7701               if (--bytes_left == 0)            /* codepoint complete */
7702                 if(codepoint > 0x10FFFF)        /* is it too large? */
7703                   complete = -1;        /* error (RFC3629 limit) */
7704                 else
7705                   {             /* finished; output utf-8 sequence */
7706                   yield = string_catn(yield, seq_buff, seq_len);
7707                   index = 0;
7708                   }
7709               }
7710             }
7711           else  /* no bytes left: new sequence */
7712             {
7713             if((c & 0x80) == 0) /* 1-byte sequence, US-ASCII, keep it */
7714               {
7715               yield = string_catn(yield, &c, 1);
7716               continue;
7717               }
7718             if((c & 0xe0) == 0xc0)              /* 2-byte sequence */
7719               {
7720               if(c == 0xc0 || c == 0xc1)        /* 0xc0 and 0xc1 are illegal */
7721                 complete = -1;
7722               else
7723                 {
7724                   bytes_left = 1;
7725                   codepoint = c & 0x1f;
7726                 }
7727               }
7728             else if((c & 0xf0) == 0xe0)         /* 3-byte sequence */
7729               {
7730               bytes_left = 2;
7731               codepoint = c & 0x0f;
7732               }
7733             else if((c & 0xf8) == 0xf0)         /* 4-byte sequence */
7734               {
7735               bytes_left = 3;
7736               codepoint = c & 0x07;
7737               }
7738             else        /* invalid or too long (RFC3629 allows only 4 bytes) */
7739               complete = -1;
7740
7741             seq_buff[index++] = c;
7742             seq_len = bytes_left + 1;
7743             }           /* if(bytes_left) */
7744
7745           if (complete != 0)
7746             {
7747             bytes_left = index = 0;
7748             yield = string_catn(yield, UTF8_REPLACEMENT_CHAR, 1);
7749             }
7750           if ((complete == 1) && ((c & 0x80) == 0))
7751                         /* ASCII character follows incomplete sequence */
7752               yield = string_catn(yield, &c, 1);
7753           }
7754         /* If given a sequence truncated mid-character, we also want to report ?
7755         * Eg, ${length_1:フィル} is one byte, not one character, so we expect
7756         * ${utf8clean:${length_1:フィル}} to yield '?' */
7757         if (bytes_left != 0)
7758           {
7759           yield = string_catn(yield, UTF8_REPLACEMENT_CHAR, 1);
7760           }
7761         continue;
7762         }
7763
7764 #ifdef SUPPORT_I18N
7765       case EOP_UTF8_DOMAIN_TO_ALABEL:
7766         {
7767         uschar * error = NULL;
7768         uschar * s = string_domain_utf8_to_alabel(sub, &error);
7769         if (error)
7770           {
7771           expand_string_message = string_sprintf(
7772             "error converting utf8 (%s) to alabel: %s",
7773             string_printing(sub), error);
7774           goto EXPAND_FAILED;
7775           }
7776         yield = string_cat(yield, s);
7777         continue;
7778         }
7779
7780       case EOP_UTF8_DOMAIN_FROM_ALABEL:
7781         {
7782         uschar * error = NULL;
7783         uschar * s = string_domain_alabel_to_utf8(sub, &error);
7784         if (error)
7785           {
7786           expand_string_message = string_sprintf(
7787             "error converting alabel (%s) to utf8: %s",
7788             string_printing(sub), error);
7789           goto EXPAND_FAILED;
7790           }
7791         yield = string_cat(yield, s);
7792         continue;
7793         }
7794
7795       case EOP_UTF8_LOCALPART_TO_ALABEL:
7796         {
7797         uschar * error = NULL;
7798         uschar * s = string_localpart_utf8_to_alabel(sub, &error);
7799         if (error)
7800           {
7801           expand_string_message = string_sprintf(
7802             "error converting utf8 (%s) to alabel: %s",
7803             string_printing(sub), error);
7804           goto EXPAND_FAILED;
7805           }
7806         yield = string_cat(yield, s);
7807         DEBUG(D_expand) debug_printf_indent("yield: '%s'\n", yield->s);
7808         continue;
7809         }
7810
7811       case EOP_UTF8_LOCALPART_FROM_ALABEL:
7812         {
7813         uschar * error = NULL;
7814         uschar * s = string_localpart_alabel_to_utf8(sub, &error);
7815         if (error)
7816           {
7817           expand_string_message = string_sprintf(
7818             "error converting alabel (%s) to utf8: %s",
7819             string_printing(sub), error);
7820           goto EXPAND_FAILED;
7821           }
7822         yield = string_cat(yield, s);
7823         continue;
7824         }
7825 #endif  /* EXPERIMENTAL_INTERNATIONAL */
7826
7827       /* escape turns all non-printing characters into escape sequences. */
7828
7829       case EOP_ESCAPE:
7830         {
7831         const uschar * t = string_printing(sub);
7832         yield = string_cat(yield, t);
7833         continue;
7834         }
7835
7836       case EOP_ESCAPE8BIT:
7837         {
7838         uschar c;
7839
7840         for (const uschar * s = sub; (c = *s); s++)
7841           yield = c < 127 && c != '\\'
7842             ? string_catn(yield, s, 1)
7843             : string_fmt_append(yield, "\\%03o", c);
7844         continue;
7845         }
7846
7847       /* Handle numeric expression evaluation */
7848
7849       case EOP_EVAL:
7850       case EOP_EVAL10:
7851         {
7852         uschar *save_sub = sub;
7853         uschar *error = NULL;
7854         int_eximarith_t n = eval_expr(&sub, (c == EOP_EVAL10), &error, FALSE);
7855         if (error)
7856           {
7857           expand_string_message = string_sprintf("error in expression "
7858             "evaluation: %s (after processing \"%.*s\")", error,
7859             (int)(sub-save_sub), save_sub);
7860           goto EXPAND_FAILED;
7861           }
7862         yield = string_fmt_append(yield, PR_EXIM_ARITH, n);
7863         continue;
7864         }
7865
7866       /* Handle time period formatting */
7867
7868       case EOP_TIME_EVAL:
7869         {
7870         int n = readconf_readtime(sub, 0, FALSE);
7871         if (n < 0)
7872           {
7873           expand_string_message = string_sprintf("string \"%s\" is not an "
7874             "Exim time interval in \"%s\" operator", sub, name);
7875           goto EXPAND_FAILED;
7876           }
7877         yield = string_fmt_append(yield, "%d", n);
7878         continue;
7879         }
7880
7881       case EOP_TIME_INTERVAL:
7882         {
7883         int n;
7884         uschar *t = read_number(&n, sub);
7885         if (*t != 0) /* Not A Number*/
7886           {
7887           expand_string_message = string_sprintf("string \"%s\" is not a "
7888             "positive number in \"%s\" operator", sub, name);
7889           goto EXPAND_FAILED;
7890           }
7891         t = readconf_printtime(n);
7892         yield = string_cat(yield, t);
7893         continue;
7894         }
7895
7896       /* Convert string to base64 encoding */
7897
7898       case EOP_STR2B64:
7899       case EOP_BASE64:
7900         {
7901 #ifndef DISABLE_TLS
7902         uschar * s = vp && *(void **)vp->value
7903           ? tls_cert_der_b64(*(void **)vp->value)
7904           : b64encode(CUS sub, Ustrlen(sub));
7905 #else
7906         uschar * s = b64encode(CUS sub, Ustrlen(sub));
7907 #endif
7908         yield = string_cat(yield, s);
7909         continue;
7910         }
7911
7912       case EOP_BASE64D:
7913         {
7914         uschar * s;
7915         int len = b64decode(sub, &s);
7916         if (len < 0)
7917           {
7918           expand_string_message = string_sprintf("string \"%s\" is not "
7919             "well-formed for \"%s\" operator", sub, name);
7920           goto EXPAND_FAILED;
7921           }
7922         yield = string_cat(yield, s);
7923         continue;
7924         }
7925
7926       /* strlen returns the length of the string */
7927
7928       case EOP_STRLEN:
7929         yield = string_fmt_append(yield, "%d", Ustrlen(sub));
7930         continue;
7931
7932       /* length_n or l_n takes just the first n characters or the whole string,
7933       whichever is the shorter;
7934
7935       substr_m_n, and s_m_n take n characters from offset m; negative m take
7936       from the end; l_n is synonymous with s_0_n. If n is omitted in substr it
7937       takes the rest, either to the right or to the left.
7938
7939       hash_n or h_n makes a hash of length n from the string, yielding n
7940       characters from the set a-z; hash_n_m makes a hash of length n, but
7941       uses m characters from the set a-zA-Z0-9.
7942
7943       nhash_n returns a single number between 0 and n-1 (in text form), while
7944       nhash_n_m returns a div/mod hash as two numbers "a/b". The first lies
7945       between 0 and n-1 and the second between 0 and m-1. */
7946
7947       case EOP_LENGTH:
7948       case EOP_L:
7949       case EOP_SUBSTR:
7950       case EOP_S:
7951       case EOP_HASH:
7952       case EOP_H:
7953       case EOP_NHASH:
7954       case EOP_NH:
7955         {
7956         int sign = 1;
7957         int value1 = 0;
7958         int value2 = -1;
7959         int *pn;
7960         int len;
7961         uschar *ret;
7962
7963         if (!arg)
7964           {
7965           expand_string_message = string_sprintf("missing values after %s",
7966             name);
7967           goto EXPAND_FAILED;
7968           }
7969
7970         /* "length" has only one argument, effectively being synonymous with
7971         substr_0_n. */
7972
7973         if (c == EOP_LENGTH || c == EOP_L)
7974           {
7975           pn = &value2;
7976           value2 = 0;
7977           }
7978
7979         /* The others have one or two arguments; for "substr" the first may be
7980         negative. The second being negative means "not supplied". */
7981
7982         else
7983           {
7984           pn = &value1;
7985           if (name[0] == 's' && *arg == '-') { sign = -1; arg++; }
7986           }
7987
7988         /* Read up to two numbers, separated by underscores */
7989
7990         ret = arg;
7991         while (*arg != 0)
7992           {
7993           if (arg != ret && *arg == '_' && pn == &value1)
7994             {
7995             pn = &value2;
7996             value2 = 0;
7997             if (arg[1] != 0) arg++;
7998             }
7999           else if (!isdigit(*arg))
8000             {
8001             expand_string_message =
8002               string_sprintf("non-digit after underscore in \"%s\"", name);
8003             goto EXPAND_FAILED;
8004             }
8005           else *pn = (*pn)*10 + *arg++ - '0';
8006           }
8007         value1 *= sign;
8008
8009         /* Perform the required operation */
8010
8011         ret =
8012           (c == EOP_HASH || c == EOP_H)?
8013              compute_hash(sub, value1, value2, &len) :
8014           (c == EOP_NHASH || c == EOP_NH)?
8015              compute_nhash(sub, value1, value2, &len) :
8016              extract_substr(sub, value1, value2, &len);
8017
8018         if (ret == NULL) goto EXPAND_FAILED;
8019         yield = string_catn(yield, ret, len);
8020         continue;
8021         }
8022
8023       /* Stat a path */
8024
8025       case EOP_STAT:
8026         {
8027         uschar smode[12];
8028         uschar **modetable[3];
8029         mode_t mode;
8030         struct stat st;
8031
8032         if (expand_forbid & RDO_EXISTS)
8033           {
8034           expand_string_message = US"Use of the stat() expansion is not permitted";
8035           goto EXPAND_FAILED;
8036           }
8037
8038         if (stat(CS sub, &st) < 0)
8039           {
8040           expand_string_message = string_sprintf("stat(%s) failed: %s",
8041             sub, strerror(errno));
8042           goto EXPAND_FAILED;
8043           }
8044         mode = st.st_mode;
8045         switch (mode & S_IFMT)
8046           {
8047           case S_IFIFO: smode[0] = 'p'; break;
8048           case S_IFCHR: smode[0] = 'c'; break;
8049           case S_IFDIR: smode[0] = 'd'; break;
8050           case S_IFBLK: smode[0] = 'b'; break;
8051           case S_IFREG: smode[0] = '-'; break;
8052           default: smode[0] = '?'; break;
8053           }
8054
8055         modetable[0] = ((mode & 01000) == 0)? mtable_normal : mtable_sticky;
8056         modetable[1] = ((mode & 02000) == 0)? mtable_normal : mtable_setid;
8057         modetable[2] = ((mode & 04000) == 0)? mtable_normal : mtable_setid;
8058
8059         for (int i = 0; i < 3; i++)
8060           {
8061           memcpy(CS(smode + 7 - i*3), CS(modetable[i][mode & 7]), 3);
8062           mode >>= 3;
8063           }
8064
8065         smode[10] = 0;
8066         yield = string_fmt_append(yield,
8067           "mode=%04lo smode=%s inode=%ld device=%ld links=%ld "
8068           "uid=%ld gid=%ld size=" OFF_T_FMT " atime=%ld mtime=%ld ctime=%ld",
8069           (long)(st.st_mode & 077777), smode, (long)st.st_ino,
8070           (long)st.st_dev, (long)st.st_nlink, (long)st.st_uid,
8071           (long)st.st_gid, st.st_size, (long)st.st_atime,
8072           (long)st.st_mtime, (long)st.st_ctime);
8073         continue;
8074         }
8075
8076       /* vaguely random number less than N */
8077
8078       case EOP_RANDINT:
8079         {
8080         int_eximarith_t max = expanded_string_integer(sub, TRUE);
8081
8082         if (expand_string_message)
8083           goto EXPAND_FAILED;
8084         yield = string_fmt_append(yield, "%d", vaguely_random_number((int)max));
8085         continue;
8086         }
8087
8088       /* Reverse IP, including IPv6 to dotted-nibble */
8089
8090       case EOP_REVERSE_IP:
8091         {
8092         int family, maskptr;
8093         uschar reversed[128];
8094
8095         family = string_is_ip_address(sub, &maskptr);
8096         if (family == 0)
8097           {
8098           expand_string_message = string_sprintf(
8099               "reverse_ip() not given an IP address [%s]", sub);
8100           goto EXPAND_FAILED;
8101           }
8102         invert_address(reversed, sub);
8103         yield = string_cat(yield, reversed);
8104         continue;
8105         }
8106
8107       /* Unknown operator */
8108
8109       default:
8110         expand_string_message =
8111           string_sprintf("unknown expansion operator \"%s\"", name);
8112         goto EXPAND_FAILED;
8113       }
8114     }
8115
8116   /* Handle a plain name. If this is the first thing in the expansion, release
8117   the pre-allocated buffer. If the result data is known to be in a new buffer,
8118   newsize will be set to the size of that buffer, and we can just point at that
8119   store instead of copying. Many expansion strings contain just one reference,
8120   so this is a useful optimization, especially for humungous headers
8121   ($message_headers). */
8122                                                 /*{*/
8123   if (*s++ == '}')
8124     {
8125     int len;
8126     int newsize = 0;
8127     gstring * g = NULL;
8128
8129     if (!yield)
8130       g = store_get(sizeof(gstring), FALSE);
8131     else if (yield->ptr == 0)
8132       {
8133       if (resetok) reset_point = store_reset(reset_point);
8134       yield = NULL;
8135       reset_point = store_mark();
8136       g = store_get(sizeof(gstring), FALSE);    /* alloc _before_ calling find_variable() */
8137       }
8138     if (!(value = find_variable(name, FALSE, skipping, &newsize)))
8139       {
8140       expand_string_message =
8141         string_sprintf("unknown variable in \"${%s}\"", name);
8142       check_variable_error_message(name);
8143       goto EXPAND_FAILED;
8144       }
8145     len = Ustrlen(value);
8146     if (!yield && newsize)
8147       {
8148       yield = g;
8149       yield->size = newsize;
8150       yield->ptr = len;
8151       yield->s = value;
8152       }
8153     else
8154       yield = string_catn(yield, value, len);
8155     continue;
8156     }
8157
8158   /* Else there's something wrong */
8159
8160   expand_string_message =
8161     string_sprintf("\"${%s\" is not a known operator (or a } is missing "
8162     "in a variable reference)", name);
8163   goto EXPAND_FAILED;
8164   }
8165
8166 /* If we hit the end of the string when ket_ends is set, there is a missing
8167 terminating brace. */
8168
8169 if (ket_ends && *s == 0)
8170   {
8171   expand_string_message = malformed_header
8172     ? US"missing } at end of string - could be header name not terminated by colon"
8173     : US"missing } at end of string";
8174   goto EXPAND_FAILED;
8175   }
8176
8177 /* Expansion succeeded; yield may still be NULL here if nothing was actually
8178 added to the string. If so, set up an empty string. Add a terminating zero. If
8179 left != NULL, return a pointer to the terminator. */
8180
8181 if (!yield)
8182   yield = string_get(1);
8183 (void) string_from_gstring(yield);
8184 if (left) *left = s;
8185
8186 /* Any stacking store that was used above the final string is no longer needed.
8187 In many cases the final string will be the first one that was got and so there
8188 will be optimal store usage. */
8189
8190 if (resetok) gstring_release_unused(yield);
8191 else if (resetok_p) *resetok_p = FALSE;
8192
8193 DEBUG(D_expand)
8194   {
8195   BOOL tainted = is_tainted(yield->s);
8196   DEBUG(D_noutf8)
8197     {
8198     debug_printf_indent("|--expanding: %.*s\n", (int)(s - string), string);
8199     debug_printf_indent("%sresult: %s\n",
8200       skipping ? "|-----" : "\\_____", yield->s);
8201     if (tainted)
8202       debug_printf_indent("%s     \\__(tainted)\n",
8203         skipping ? "|     " : "      ");
8204     if (skipping)
8205       debug_printf_indent("\\___skipping: result is not used\n");
8206     }
8207   else
8208     {
8209     debug_printf_indent(UTF8_VERT_RIGHT UTF8_HORIZ UTF8_HORIZ
8210       "expanding: %.*s\n",
8211       (int)(s - string), string);
8212     debug_printf_indent("%s" UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ
8213       "result: %s\n",
8214       skipping ? UTF8_VERT_RIGHT : UTF8_UP_RIGHT,
8215       yield->s);
8216     if (tainted)
8217       debug_printf_indent("%s(tainted)\n",
8218         skipping
8219         ? UTF8_VERT "             " : "           " UTF8_UP_RIGHT UTF8_HORIZ UTF8_HORIZ);
8220     if (skipping)
8221       debug_printf_indent(UTF8_UP_RIGHT UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ
8222         "skipping: result is not used\n");
8223     }
8224   }
8225 expand_level--;
8226 return yield->s;
8227
8228 /* This is the failure exit: easiest to program with a goto. We still need
8229 to update the pointer to the terminator, for cases of nested calls with "fail".
8230 */
8231
8232 EXPAND_FAILED_CURLY:
8233 if (malformed_header)
8234   expand_string_message =
8235     US"missing or misplaced { or } - could be header name not terminated by colon";
8236
8237 else if (!expand_string_message || !*expand_string_message)
8238   expand_string_message = US"missing or misplaced { or }";
8239
8240 /* At one point, Exim reset the store to yield (if yield was not NULL), but
8241 that is a bad idea, because expand_string_message is in dynamic store. */
8242
8243 EXPAND_FAILED:
8244 if (left) *left = s;
8245 DEBUG(D_expand)
8246   DEBUG(D_noutf8)
8247     {
8248     debug_printf_indent("|failed to expand: %s\n", string);
8249     debug_printf_indent("%serror message: %s\n",
8250       f.expand_string_forcedfail ? "|---" : "\\___", expand_string_message);
8251     if (f.expand_string_forcedfail)
8252       debug_printf_indent("\\failure was forced\n");
8253     }
8254   else
8255     {
8256     debug_printf_indent(UTF8_VERT_RIGHT "failed to expand: %s\n",
8257       string);
8258     debug_printf_indent("%s" UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ
8259       "error message: %s\n",
8260       f.expand_string_forcedfail ? UTF8_VERT_RIGHT : UTF8_UP_RIGHT,
8261       expand_string_message);
8262     if (f.expand_string_forcedfail)
8263       debug_printf_indent(UTF8_UP_RIGHT "failure was forced\n");
8264     }
8265 if (resetok_p && !resetok) *resetok_p = FALSE;
8266 expand_level--;
8267 return NULL;
8268 }
8269
8270
8271 /* This is the external function call. Do a quick check for any expansion
8272 metacharacters, and if there are none, just return the input string.
8273
8274 Argument: the string to be expanded
8275 Returns:  the expanded string, or NULL if expansion failed; if failure was
8276           due to a lookup deferring, search_find_defer will be TRUE
8277 */
8278
8279 const uschar *
8280 expand_cstring(const uschar * string)
8281 {
8282 if (Ustrpbrk(string, "$\\") != NULL)
8283   {
8284   int old_pool = store_pool;
8285   uschar * s;
8286
8287   f.search_find_defer = FALSE;
8288   malformed_header = FALSE;
8289   store_pool = POOL_MAIN;
8290     s = expand_string_internal(string, FALSE, NULL, FALSE, TRUE, NULL);
8291   store_pool = old_pool;
8292   return s;
8293   }
8294 return string;
8295 }
8296
8297
8298 uschar *
8299 expand_string(uschar * string)
8300 {
8301 return US expand_cstring(CUS string);
8302 }
8303
8304
8305
8306
8307
8308 /*************************************************
8309 *              Expand and copy                   *
8310 *************************************************/
8311
8312 /* Now and again we want to expand a string and be sure that the result is in a
8313 new bit of store. This function does that.
8314 Since we know it has been copied, the de-const cast is safe.
8315
8316 Argument: the string to be expanded
8317 Returns:  the expanded string, always in a new bit of store, or NULL
8318 */
8319
8320 uschar *
8321 expand_string_copy(const uschar *string)
8322 {
8323 const uschar *yield = expand_cstring(string);
8324 if (yield == string) yield = string_copy(string);
8325 return US yield;
8326 }
8327
8328
8329
8330 /*************************************************
8331 *        Expand and interpret as an integer      *
8332 *************************************************/
8333
8334 /* Expand a string, and convert the result into an integer.
8335
8336 Arguments:
8337   string  the string to be expanded
8338   isplus  TRUE if a non-negative number is expected
8339
8340 Returns:  the integer value, or
8341           -1 for an expansion error               ) in both cases, message in
8342           -2 for an integer interpretation error  ) expand_string_message
8343           expand_string_message is set NULL for an OK integer
8344 */
8345
8346 int_eximarith_t
8347 expand_string_integer(uschar *string, BOOL isplus)
8348 {
8349 return expanded_string_integer(expand_string(string), isplus);
8350 }
8351
8352
8353 /*************************************************
8354  *         Interpret string as an integer        *
8355  *************************************************/
8356
8357 /* Convert a string (that has already been expanded) into an integer.
8358
8359 This function is used inside the expansion code.
8360
8361 Arguments:
8362   s       the string to be expanded
8363   isplus  TRUE if a non-negative number is expected
8364
8365 Returns:  the integer value, or
8366           -1 if string is NULL (which implies an expansion error)
8367           -2 for an integer interpretation error
8368           expand_string_message is set NULL for an OK integer
8369 */
8370
8371 static int_eximarith_t
8372 expanded_string_integer(const uschar *s, BOOL isplus)
8373 {
8374 int_eximarith_t value;
8375 uschar *msg = US"invalid integer \"%s\"";
8376 uschar *endptr;
8377
8378 /* If expansion failed, expand_string_message will be set. */
8379
8380 if (s == NULL) return -1;
8381
8382 /* On an overflow, strtol() returns LONG_MAX or LONG_MIN, and sets errno
8383 to ERANGE. When there isn't an overflow, errno is not changed, at least on some
8384 systems, so we set it zero ourselves. */
8385
8386 errno = 0;
8387 expand_string_message = NULL;               /* Indicates no error */
8388
8389 /* Before Exim 4.64, strings consisting entirely of whitespace compared
8390 equal to 0.  Unfortunately, people actually relied upon that, so preserve
8391 the behaviour explicitly.  Stripping leading whitespace is a harmless
8392 noop change since strtol skips it anyway (provided that there is a number
8393 to find at all). */
8394 if (isspace(*s))
8395   {
8396   while (isspace(*s)) ++s;
8397   if (*s == '\0')
8398     {
8399       DEBUG(D_expand)
8400        debug_printf_indent("treating blank string as number 0\n");
8401       return 0;
8402     }
8403   }
8404
8405 value = strtoll(CS s, CSS &endptr, 10);
8406
8407 if (endptr == s)
8408   {
8409   msg = US"integer expected but \"%s\" found";
8410   }
8411 else if (value < 0 && isplus)
8412   {
8413   msg = US"non-negative integer expected but \"%s\" found";
8414   }
8415 else
8416   {
8417   switch (tolower(*endptr))
8418     {
8419     default:
8420       break;
8421     case 'k':
8422       if (value > EXIM_ARITH_MAX/1024 || value < EXIM_ARITH_MIN/1024) errno = ERANGE;
8423       else value *= 1024;
8424       endptr++;
8425       break;
8426     case 'm':
8427       if (value > EXIM_ARITH_MAX/(1024*1024) || value < EXIM_ARITH_MIN/(1024*1024)) errno = ERANGE;
8428       else value *= 1024*1024;
8429       endptr++;
8430       break;
8431     case 'g':
8432       if (value > EXIM_ARITH_MAX/(1024*1024*1024) || value < EXIM_ARITH_MIN/(1024*1024*1024)) errno = ERANGE;
8433       else value *= 1024*1024*1024;
8434       endptr++;
8435       break;
8436     }
8437   if (errno == ERANGE)
8438     msg = US"absolute value of integer \"%s\" is too large (overflow)";
8439   else
8440     {
8441     while (isspace(*endptr)) endptr++;
8442     if (*endptr == 0) return value;
8443     }
8444   }
8445
8446 expand_string_message = string_sprintf(CS msg, s);
8447 return -2;
8448 }
8449
8450
8451 /* These values are usually fixed boolean values, but they are permitted to be
8452 expanded strings.
8453
8454 Arguments:
8455   addr       address being routed
8456   mtype      the module type
8457   mname      the module name
8458   dbg_opt    debug selectors
8459   oname      the option name
8460   bvalue     the router's boolean value
8461   svalue     the router's string value
8462   rvalue     where to put the returned value
8463
8464 Returns:     OK     value placed in rvalue
8465              DEFER  expansion failed
8466 */
8467
8468 int
8469 exp_bool(address_item *addr,
8470   uschar *mtype, uschar *mname, unsigned dbg_opt,
8471   uschar *oname, BOOL bvalue,
8472   uschar *svalue, BOOL *rvalue)
8473 {
8474 uschar *expanded;
8475 if (svalue == NULL) { *rvalue = bvalue; return OK; }
8476
8477 expanded = expand_string(svalue);
8478 if (expanded == NULL)
8479   {
8480   if (f.expand_string_forcedfail)
8481     {
8482     DEBUG(dbg_opt) debug_printf("expansion of \"%s\" forced failure\n", oname);
8483     *rvalue = bvalue;
8484     return OK;
8485     }
8486   addr->message = string_sprintf("failed to expand \"%s\" in %s %s: %s",
8487       oname, mname, mtype, expand_string_message);
8488   DEBUG(dbg_opt) debug_printf("%s\n", addr->message);
8489   return DEFER;
8490   }
8491
8492 DEBUG(dbg_opt) debug_printf("expansion of \"%s\" yields \"%s\"\n", oname,
8493   expanded);
8494
8495 if (strcmpic(expanded, US"true") == 0 || strcmpic(expanded, US"yes") == 0)
8496   *rvalue = TRUE;
8497 else if (strcmpic(expanded, US"false") == 0 || strcmpic(expanded, US"no") == 0)
8498   *rvalue = FALSE;
8499 else
8500   {
8501   addr->message = string_sprintf("\"%s\" is not a valid value for the "
8502     "\"%s\" option in the %s %s", expanded, oname, mname, mtype);
8503   return DEFER;
8504   }
8505
8506 return OK;
8507 }
8508
8509
8510
8511 /* Avoid potentially exposing a password in a string about to be logged */
8512
8513 uschar *
8514 expand_hide_passwords(uschar * s)
8515 {
8516 return (  (  Ustrstr(s, "failed to expand") != NULL
8517           || Ustrstr(s, "expansion of ")    != NULL
8518           )
8519        && (  Ustrstr(s, "mysql")   != NULL
8520           || Ustrstr(s, "pgsql")   != NULL
8521           || Ustrstr(s, "redis")   != NULL
8522           || Ustrstr(s, "sqlite")  != NULL
8523           || Ustrstr(s, "ldap:")   != NULL
8524           || Ustrstr(s, "ldaps:")  != NULL
8525           || Ustrstr(s, "ldapi:")  != NULL
8526           || Ustrstr(s, "ldapdn:") != NULL
8527           || Ustrstr(s, "ldapm:")  != NULL
8528        )  )
8529   ? US"Temporary internal error" : s;
8530 }
8531
8532
8533 /* Read given named file into big_buffer.  Use for keying material etc.
8534 The content will have an ascii NUL appended.
8535
8536 Arguments:
8537  filename       as it says
8538
8539 Return:  pointer to buffer, or NULL on error.
8540 */
8541
8542 uschar *
8543 expand_file_big_buffer(const uschar * filename)
8544 {
8545 int fd, off = 0, len;
8546
8547 if ((fd = open(CS filename, O_RDONLY)) < 0)
8548   {
8549   log_write(0, LOG_MAIN | LOG_PANIC, "unable to open file for reading: %s",
8550              filename);
8551   return NULL;
8552   }
8553
8554 do
8555   {
8556   if ((len = read(fd, big_buffer + off, big_buffer_size - 2 - off)) < 0)
8557     {
8558     (void) close(fd);
8559     log_write(0, LOG_MAIN|LOG_PANIC, "unable to read file: %s", filename);
8560     return NULL;
8561     }
8562   off += len;
8563   }
8564 while (len > 0);
8565
8566 (void) close(fd);
8567 big_buffer[off] = '\0';
8568 return big_buffer;
8569 }
8570
8571
8572
8573 /*************************************************
8574 * Error-checking for testsuite                   *
8575 *************************************************/
8576 typedef struct {
8577   uschar *      region_start;
8578   uschar *      region_end;
8579   const uschar *var_name;
8580   const uschar *var_data;
8581 } err_ctx;
8582
8583 static void
8584 assert_variable_notin(uschar * var_name, uschar * var_data, void * ctx)
8585 {
8586 err_ctx * e = ctx;
8587 if (var_data >= e->region_start  &&  var_data < e->region_end)
8588   {
8589   e->var_name = CUS var_name;
8590   e->var_data = CUS var_data;
8591   }
8592 }
8593
8594 void
8595 assert_no_variables(void * ptr, int len, const char * filename, int linenumber)
8596 {
8597 err_ctx e = { .region_start = ptr, .region_end = US ptr + len,
8598               .var_name = NULL, .var_data = NULL };
8599
8600 /* check acl_ variables */
8601 tree_walk(acl_var_c, assert_variable_notin, &e);
8602 tree_walk(acl_var_m, assert_variable_notin, &e);
8603
8604 /* check auth<n> variables */
8605 for (int i = 0; i < AUTH_VARS; i++) if (auth_vars[i])
8606   assert_variable_notin(US"auth<n>", auth_vars[i], &e);
8607
8608 /* check regex<n> variables */
8609 for (int i = 0; i < REGEX_VARS; i++) if (regex_vars[i])
8610   assert_variable_notin(US"regex<n>", regex_vars[i], &e);
8611
8612 /* check known-name variables */
8613 for (var_entry * v = var_table; v < var_table + var_table_size; v++)
8614   if (v->type == vtype_stringptr)
8615     assert_variable_notin(US v->name, *(USS v->value), &e);
8616
8617 /* check dns and address trees */
8618 tree_walk(tree_dns_fails,     assert_variable_notin, &e);
8619 tree_walk(tree_duplicates,    assert_variable_notin, &e);
8620 tree_walk(tree_nonrecipients, assert_variable_notin, &e);
8621 tree_walk(tree_unusable,      assert_variable_notin, &e);
8622
8623 if (e.var_name)
8624   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
8625     "live variable '%s' destroyed by reset_store at %s:%d\n- value '%.64s'",
8626     e.var_name, filename, linenumber, e.var_data);
8627 }
8628
8629
8630
8631 /*************************************************
8632 **************************************************
8633 *             Stand-alone test program           *
8634 **************************************************
8635 *************************************************/
8636
8637 #ifdef STAND_ALONE
8638
8639
8640 BOOL
8641 regex_match_and_setup(const pcre *re, uschar *subject, int options, int setup)
8642 {
8643 int ovector[3*(EXPAND_MAXN+1)];
8644 int n = pcre_exec(re, NULL, subject, Ustrlen(subject), 0, PCRE_EOPT|options,
8645   ovector, nelem(ovector));
8646 BOOL yield = n >= 0;
8647 if (n == 0) n = EXPAND_MAXN + 1;
8648 if (yield)
8649   {
8650   expand_nmax = setup < 0 ? 0 : setup + 1;
8651   for (int nn = setup < 0 ? 0 : 2; nn < n*2; nn += 2)
8652     {
8653     expand_nstring[expand_nmax] = subject + ovector[nn];
8654     expand_nlength[expand_nmax++] = ovector[nn+1] - ovector[nn];
8655     }
8656   expand_nmax--;
8657   }
8658 return yield;
8659 }
8660
8661
8662 int main(int argc, uschar **argv)
8663 {
8664 uschar buffer[1024];
8665
8666 debug_selector = D_v;
8667 debug_file = stderr;
8668 debug_fd = fileno(debug_file);
8669 big_buffer = malloc(big_buffer_size);
8670
8671 for (int i = 1; i < argc; i++)
8672   {
8673   if (argv[i][0] == '+')
8674     {
8675     debug_trace_memory = 2;
8676     argv[i]++;
8677     }
8678   if (isdigit(argv[i][0]))
8679     debug_selector = Ustrtol(argv[i], NULL, 0);
8680   else
8681     if (Ustrspn(argv[i], "abcdefghijklmnopqrtsuvwxyz0123456789-.:/") ==
8682         Ustrlen(argv[i]))
8683       {
8684 #ifdef LOOKUP_LDAP
8685       eldap_default_servers = argv[i];
8686 #endif
8687 #ifdef LOOKUP_MYSQL
8688       mysql_servers = argv[i];
8689 #endif
8690 #ifdef LOOKUP_PGSQL
8691       pgsql_servers = argv[i];
8692 #endif
8693 #ifdef LOOKUP_REDIS
8694       redis_servers = argv[i];
8695 #endif
8696       }
8697 #ifdef EXIM_PERL
8698   else opt_perl_startup = argv[i];
8699 #endif
8700   }
8701
8702 printf("Testing string expansion: debug_level = %d\n\n", debug_level);
8703
8704 expand_nstring[1] = US"string 1....";
8705 expand_nlength[1] = 8;
8706 expand_nmax = 1;
8707
8708 #ifdef EXIM_PERL
8709 if (opt_perl_startup != NULL)
8710   {
8711   uschar *errstr;
8712   printf("Starting Perl interpreter\n");
8713   errstr = init_perl(opt_perl_startup);
8714   if (errstr != NULL)
8715     {
8716     printf("** error in perl_startup code: %s\n", errstr);
8717     return EXIT_FAILURE;
8718     }
8719   }
8720 #endif /* EXIM_PERL */
8721
8722 /* Thie deliberately regards the input as untainted, so that it can be
8723 expanded; only reasonable since this is a test for string-expansions. */
8724
8725 while (fgets(buffer, sizeof(buffer), stdin) != NULL)
8726   {
8727   rmark reset_point = store_mark();
8728   uschar *yield = expand_string(buffer);
8729   if (yield)
8730     printf("%s\n", yield);
8731   else
8732     {
8733     if (f.search_find_defer) printf("search_find deferred\n");
8734     printf("Failed: %s\n", expand_string_message);
8735     if (f.expand_string_forcedfail) printf("Forced failure\n");
8736     printf("\n");
8737     }
8738   store_reset(reset_point);
8739   }
8740
8741 search_tidyup();
8742
8743 return 0;
8744 }
8745
8746 #endif
8747
8748 /* vi: aw ai sw=2
8749 */
8750 /* End of expand.c */