src/src/expand.c

   1 /*************************************************
   2 *     Exim - an Internet mail transport agent    *
   3 *************************************************/
   4
   5 /* Copyright (c) University of Cambridge 1995 - 2018 */
   6 /* See the file NOTICE for conditions of use and distribution. */
   7
   8
   9 /* Functions for handling string expansion. */
  10
  11
  12 #include "exim.h"
  13
  14 /* Recursively called function */
  15
  16 static uschar *expand_string_internal(const uschar *, BOOL, const uschar **, BOOL, BOOL, BOOL *);
  17 static int_eximarith_t expanded_string_integer(const uschar *, BOOL);
  18
  19 #ifdef STAND_ALONE
  20 # ifndef SUPPORT_CRYPTEQ
  21 #  define SUPPORT_CRYPTEQ
  22 # endif
  23 #endif
  24
  25 #ifdef LOOKUP_LDAP
  26 # include "lookups/ldap.h"
  27 #endif
  28
  29 #ifdef SUPPORT_CRYPTEQ
  30 # ifdef CRYPT_H
  31 #  include <crypt.h>
  32 # endif
  33 # ifndef HAVE_CRYPT16
  34 extern char* crypt16(char*, char*);
  35 # endif
  36 #endif
  37
  38 /* The handling of crypt16() is a mess. I will record below the analysis of the
  39 mess that was sent to me. We decided, however, to make changing this very low
  40 priority, because in practice people are moving away from the crypt()
  41 algorithms nowadays, so it doesn't seem worth it.
  42
  43 <quote>
  44 There is an algorithm named "crypt16" in Ultrix and Tru64.  It crypts
  45 the first 8 characters of the password using a 20-round version of crypt
  46 (standard crypt does 25 rounds).  It then crypts the next 8 characters,
  47 or an empty block if the password is less than 9 characters, using a
  48 20-round version of crypt and the same salt as was used for the first
  49 block.  Characters after the first 16 are ignored.  It always generates
  50 a 16-byte hash, which is expressed together with the salt as a string
  51 of 24 base 64 digits.  Here are some links to peruse:
  52
  53         http://cvs.pld.org.pl/pam/pamcrypt/crypt16.c?rev=1.2
  54         http://seclists.org/bugtraq/1999/Mar/0076.html
  55
  56 There's a different algorithm named "bigcrypt" in HP-UX, Digital Unix,
  57 and OSF/1.  This is the same as the standard crypt if given a password
  58 of 8 characters or less.  If given more, it first does the same as crypt
  59 using the first 8 characters, then crypts the next 8 (the 9th to 16th)
  60 using as salt the first two base 64 digits from the first hash block.
  61 If the password is more than 16 characters then it crypts the 17th to 24th
  62 characters using as salt the first two base 64 digits from the second hash
  63 block.  And so on: I've seen references to it cutting off the password at
  64 40 characters (5 blocks), 80 (10 blocks), or 128 (16 blocks).  Some links:
  65
  66         http://cvs.pld.org.pl/pam/pamcrypt/bigcrypt.c?rev=1.2
  67         http://seclists.org/bugtraq/1999/Mar/0109.html
  68         http://h30097.www3.hp.com/docs/base_doc/DOCUMENTATION/HTML/AA-Q0R2D-
  69              TET1_html/sec.c222.html#no_id_208
  70
  71 Exim has something it calls "crypt16".  It will either use a native
  72 crypt16 or its own implementation.  A native crypt16 will presumably
  73 be the one that I called "crypt16" above.  The internal "crypt16"
  74 function, however, is a two-block-maximum implementation of what I called
  75 "bigcrypt".  The documentation matches the internal code.
  76
  77 I suspect that whoever did the "crypt16" stuff for Exim didn't realise
  78 that crypt16 and bigcrypt were different things.
  79
  80 Exim uses the LDAP-style scheme identifier "{crypt16}" to refer
  81 to whatever it is using under that name.  This unfortunately sets a
  82 precedent for using "{crypt16}" to identify two incompatible algorithms
  83 whose output can't be distinguished.  With "{crypt16}" thus rendered
  84 ambiguous, I suggest you deprecate it and invent two new identifiers
  85 for the two algorithms.
  86
  87 Both crypt16 and bigcrypt are very poor algorithms, btw.  Hashing parts
  88 of the password separately means they can be cracked separately, so
  89 the double-length hash only doubles the cracking effort instead of
  90 squaring it.  I recommend salted SHA-1 ({SSHA}), or the Blowfish-based
  91 bcrypt ({CRYPT}$2a$).
  92 </quote>
  93 */
  94
  95
  96
  97 /*************************************************
  98 *            Local statics and tables            *
  99 *************************************************/
 100
 101 /* Table of item names, and corresponding switch numbers. The names must be in
 102 alphabetical order. */
 103
 104 static uschar *item_table[] = {
 105   US"acl",
 106   US"authresults",
 107   US"certextract",
 108   US"dlfunc",
 109   US"env",
 110   US"extract",
 111   US"filter",
 112   US"hash",
 113   US"hmac",
 114   US"if",
 115 #ifdef SUPPORT_I18N
 116   US"imapfolder",
 117 #endif
 118   US"length",
 119   US"listextract",
 120   US"lookup",
 121   US"map",
 122   US"nhash",
 123   US"perl",
 124   US"prvs",
 125   US"prvscheck",
 126   US"readfile",
 127   US"readsocket",
 128   US"reduce",
 129   US"run",
 130   US"sg",
 131   US"sort",
 132 #ifdef EXPERIMENTAL_SRS_NATIVE
 133   US"srs_encode",
 134 #endif
 135   US"substr",
 136   US"tr" };
 137
 138 enum {
 139   EITEM_ACL,
 140   EITEM_AUTHRESULTS,
 141   EITEM_CERTEXTRACT,
 142   EITEM_DLFUNC,
 143   EITEM_ENV,
 144   EITEM_EXTRACT,
 145   EITEM_FILTER,
 146   EITEM_HASH,
 147   EITEM_HMAC,
 148   EITEM_IF,
 149 #ifdef SUPPORT_I18N
 150   EITEM_IMAPFOLDER,
 151 #endif
 152   EITEM_LENGTH,
 153   EITEM_LISTEXTRACT,
 154   EITEM_LOOKUP,
 155   EITEM_MAP,
 156   EITEM_NHASH,
 157   EITEM_PERL,
 158   EITEM_PRVS,
 159   EITEM_PRVSCHECK,
 160   EITEM_READFILE,
 161   EITEM_READSOCK,
 162   EITEM_REDUCE,
 163   EITEM_RUN,
 164   EITEM_SG,
 165   EITEM_SORT,
 166 #ifdef EXPERIMENTAL_SRS_NATIVE
 167   EITEM_SRS_ENCODE,
 168 #endif
 169   EITEM_SUBSTR,
 170   EITEM_TR };
 171
 172 /* Tables of operator names, and corresponding switch numbers. The names must be
 173 in alphabetical order. There are two tables, because underscore is used in some
 174 cases to introduce arguments, whereas for other it is part of the name. This is
 175 an historical mis-design. */
 176
 177 static uschar *op_table_underscore[] = {
 178   US"from_utf8",
 179   US"local_part",
 180   US"quote_local_part",
 181   US"reverse_ip",
 182   US"time_eval",
 183   US"time_interval"
 184 #ifdef SUPPORT_I18N
 185  ,US"utf8_domain_from_alabel",
 186   US"utf8_domain_to_alabel",
 187   US"utf8_localpart_from_alabel",
 188   US"utf8_localpart_to_alabel"
 189 #endif
 190   };
 191
 192 enum {
 193   EOP_FROM_UTF8,
 194   EOP_LOCAL_PART,
 195   EOP_QUOTE_LOCAL_PART,
 196   EOP_REVERSE_IP,
 197   EOP_TIME_EVAL,
 198   EOP_TIME_INTERVAL
 199 #ifdef SUPPORT_I18N
 200  ,EOP_UTF8_DOMAIN_FROM_ALABEL,
 201   EOP_UTF8_DOMAIN_TO_ALABEL,
 202   EOP_UTF8_LOCALPART_FROM_ALABEL,
 203   EOP_UTF8_LOCALPART_TO_ALABEL
 204 #endif
 205   };
 206
 207 static uschar *op_table_main[] = {
 208   US"address",
 209   US"addresses",
 210   US"base32",
 211   US"base32d",
 212   US"base62",
 213   US"base62d",
 214   US"base64",
 215   US"base64d",
 216   US"domain",
 217   US"escape",
 218   US"escape8bit",
 219   US"eval",
 220   US"eval10",
 221   US"expand",
 222   US"h",
 223   US"hash",
 224   US"hex2b64",
 225   US"hexquote",
 226   US"ipv6denorm",
 227   US"ipv6norm",
 228   US"l",
 229   US"lc",
 230   US"length",
 231   US"listcount",
 232   US"listnamed",
 233   US"mask",
 234   US"md5",
 235   US"nh",
 236   US"nhash",
 237   US"quote",
 238   US"randint",
 239   US"rfc2047",
 240   US"rfc2047d",
 241   US"rxquote",
 242   US"s",
 243   US"sha1",
 244   US"sha2",
 245   US"sha256",
 246   US"sha3",
 247   US"stat",
 248   US"str2b64",
 249   US"strlen",
 250   US"substr",
 251   US"uc",
 252   US"utf8clean" };
 253
 254 enum {
 255   EOP_ADDRESS =  nelem(op_table_underscore),
 256   EOP_ADDRESSES,
 257   EOP_BASE32,
 258   EOP_BASE32D,
 259   EOP_BASE62,
 260   EOP_BASE62D,
 261   EOP_BASE64,
 262   EOP_BASE64D,
 263   EOP_DOMAIN,
 264   EOP_ESCAPE,
 265   EOP_ESCAPE8BIT,
 266   EOP_EVAL,
 267   EOP_EVAL10,
 268   EOP_EXPAND,
 269   EOP_H,
 270   EOP_HASH,
 271   EOP_HEX2B64,
 272   EOP_HEXQUOTE,
 273   EOP_IPV6DENORM,
 274   EOP_IPV6NORM,
 275   EOP_L,
 276   EOP_LC,
 277   EOP_LENGTH,
 278   EOP_LISTCOUNT,
 279   EOP_LISTNAMED,
 280   EOP_MASK,
 281   EOP_MD5,
 282   EOP_NH,
 283   EOP_NHASH,
 284   EOP_QUOTE,
 285   EOP_RANDINT,
 286   EOP_RFC2047,
 287   EOP_RFC2047D,
 288   EOP_RXQUOTE,
 289   EOP_S,
 290   EOP_SHA1,
 291   EOP_SHA2,
 292   EOP_SHA256,
 293   EOP_SHA3,
 294   EOP_STAT,
 295   EOP_STR2B64,
 296   EOP_STRLEN,
 297   EOP_SUBSTR,
 298   EOP_UC,
 299   EOP_UTF8CLEAN };
 300
 301
 302 /* Table of condition names, and corresponding switch numbers. The names must
 303 be in alphabetical order. */
 304
 305 static uschar *cond_table[] = {
 306   US"<",
 307   US"<=",
 308   US"=",
 309   US"==",     /* Backward compatibility */
 310   US">",
 311   US">=",
 312   US"acl",
 313   US"and",
 314   US"bool",
 315   US"bool_lax",
 316   US"crypteq",
 317   US"def",
 318   US"eq",
 319   US"eqi",
 320   US"exists",
 321   US"first_delivery",
 322   US"forall",
 323   US"forall_json",
 324   US"forall_jsons",
 325   US"forany",
 326   US"forany_json",
 327   US"forany_jsons",
 328   US"ge",
 329   US"gei",
 330   US"gt",
 331   US"gti",
 332 #ifdef EXPERIMENTAL_SRS_NATIVE
 333   US"inbound_srs",
 334 #endif
 335   US"inlist",
 336   US"inlisti",
 337   US"isip",
 338   US"isip4",
 339   US"isip6",
 340   US"ldapauth",
 341   US"le",
 342   US"lei",
 343   US"lt",
 344   US"lti",
 345   US"match",
 346   US"match_address",
 347   US"match_domain",
 348   US"match_ip",
 349   US"match_local_part",
 350   US"or",
 351   US"pam",
 352   US"pwcheck",
 353   US"queue_running",
 354   US"radius",
 355   US"saslauthd"
 356 };
 357
 358 enum {
 359   ECOND_NUM_L,
 360   ECOND_NUM_LE,
 361   ECOND_NUM_E,
 362   ECOND_NUM_EE,
 363   ECOND_NUM_G,
 364   ECOND_NUM_GE,
 365   ECOND_ACL,
 366   ECOND_AND,
 367   ECOND_BOOL,
 368   ECOND_BOOL_LAX,
 369   ECOND_CRYPTEQ,
 370   ECOND_DEF,
 371   ECOND_STR_EQ,
 372   ECOND_STR_EQI,
 373   ECOND_EXISTS,
 374   ECOND_FIRST_DELIVERY,
 375   ECOND_FORALL,
 376   ECOND_FORALL_JSON,
 377   ECOND_FORALL_JSONS,
 378   ECOND_FORANY,
 379   ECOND_FORANY_JSON,
 380   ECOND_FORANY_JSONS,
 381   ECOND_STR_GE,
 382   ECOND_STR_GEI,
 383   ECOND_STR_GT,
 384   ECOND_STR_GTI,
 385 #ifdef EXPERIMENTAL_SRS_NATIVE
 386   ECOND_INBOUND_SRS,
 387 #endif
 388   ECOND_INLIST,
 389   ECOND_INLISTI,
 390   ECOND_ISIP,
 391   ECOND_ISIP4,
 392   ECOND_ISIP6,
 393   ECOND_LDAPAUTH,
 394   ECOND_STR_LE,
 395   ECOND_STR_LEI,
 396   ECOND_STR_LT,
 397   ECOND_STR_LTI,
 398   ECOND_MATCH,
 399   ECOND_MATCH_ADDRESS,
 400   ECOND_MATCH_DOMAIN,
 401   ECOND_MATCH_IP,
 402   ECOND_MATCH_LOCAL_PART,
 403   ECOND_OR,
 404   ECOND_PAM,
 405   ECOND_PWCHECK,
 406   ECOND_QUEUE_RUNNING,
 407   ECOND_RADIUS,
 408   ECOND_SASLAUTHD
 409 };
 410
 411
 412 /* Types of table entry */
 413
 414 enum vtypes {
 415   vtype_int,            /* value is address of int */
 416   vtype_filter_int,     /* ditto, but recognized only when filtering */
 417   vtype_ino,            /* value is address of ino_t (not always an int) */
 418   vtype_uid,            /* value is address of uid_t (not always an int) */
 419   vtype_gid,            /* value is address of gid_t (not always an int) */
 420   vtype_bool,           /* value is address of bool */
 421   vtype_stringptr,      /* value is address of pointer to string */
 422   vtype_msgbody,        /* as stringptr, but read when first required */
 423   vtype_msgbody_end,    /* ditto, the end of the message */
 424   vtype_msgheaders,     /* the message's headers, processed */
 425   vtype_msgheaders_raw, /* the message's headers, unprocessed */
 426   vtype_localpart,      /* extract local part from string */
 427   vtype_domain,         /* extract domain from string */
 428   vtype_string_func,    /* value is string returned by given function */
 429   vtype_todbsdin,       /* value not used; generate BSD inbox tod */
 430   vtype_tode,           /* value not used; generate tod in epoch format */
 431   vtype_todel,          /* value not used; generate tod in epoch/usec format */
 432   vtype_todf,           /* value not used; generate full tod */
 433   vtype_todl,           /* value not used; generate log tod */
 434   vtype_todlf,          /* value not used; generate log file datestamp tod */
 435   vtype_todzone,        /* value not used; generate time zone only */
 436   vtype_todzulu,        /* value not used; generate zulu tod */
 437   vtype_reply,          /* value not used; get reply from headers */
 438   vtype_pid,            /* value not used; result is pid */
 439   vtype_host_lookup,    /* value not used; get host name */
 440   vtype_load_avg,       /* value not used; result is int from os_getloadavg */
 441   vtype_pspace,         /* partition space; value is T/F for spool/log */
 442   vtype_pinodes,        /* partition inodes; value is T/F for spool/log */
 443   vtype_cert            /* SSL certificate */
 444   #ifndef DISABLE_DKIM
 445   ,vtype_dkim           /* Lookup of value in DKIM signature */
 446   #endif
 447 };
 448
 449 /* Type for main variable table */
 450
 451 typedef struct {
 452   const char *name;
 453   enum vtypes type;
 454   void       *value;
 455 } var_entry;
 456
 457 /* Type for entries pointing to address/length pairs. Not currently
 458 in use. */
 459
 460 typedef struct {
 461   uschar **address;
 462   int  *length;
 463 } alblock;
 464
 465 static uschar * fn_recipients(void);
 466 typedef uschar * stringptr_fn_t(void);
 467
 468 /* This table must be kept in alphabetical order. */
 469
 470 static var_entry var_table[] = {
 471   /* WARNING: Do not invent variables whose names start acl_c or acl_m because
 472      they will be confused with user-creatable ACL variables. */
 473   { "acl_arg1",            vtype_stringptr,   &acl_arg[0] },
 474   { "acl_arg2",            vtype_stringptr,   &acl_arg[1] },
 475   { "acl_arg3",            vtype_stringptr,   &acl_arg[2] },
 476   { "acl_arg4",            vtype_stringptr,   &acl_arg[3] },
 477   { "acl_arg5",            vtype_stringptr,   &acl_arg[4] },
 478   { "acl_arg6",            vtype_stringptr,   &acl_arg[5] },
 479   { "acl_arg7",            vtype_stringptr,   &acl_arg[6] },
 480   { "acl_arg8",            vtype_stringptr,   &acl_arg[7] },
 481   { "acl_arg9",            vtype_stringptr,   &acl_arg[8] },
 482   { "acl_narg",            vtype_int,         &acl_narg },
 483   { "acl_verify_message",  vtype_stringptr,   &acl_verify_message },
 484   { "address_data",        vtype_stringptr,   &deliver_address_data },
 485   { "address_file",        vtype_stringptr,   &address_file },
 486   { "address_pipe",        vtype_stringptr,   &address_pipe },
 487 #ifdef EXPERIMENTAL_ARC
 488   { "arc_domains",         vtype_string_func, (void *) &fn_arc_domains },
 489   { "arc_oldest_pass",     vtype_int,         &arc_oldest_pass },
 490   { "arc_state",           vtype_stringptr,   &arc_state },
 491   { "arc_state_reason",    vtype_stringptr,   &arc_state_reason },
 492 #endif
 493   { "authenticated_fail_id",vtype_stringptr,  &authenticated_fail_id },
 494   { "authenticated_id",    vtype_stringptr,   &authenticated_id },
 495   { "authenticated_sender",vtype_stringptr,   &authenticated_sender },
 496   { "authentication_failed",vtype_int,        &authentication_failed },
 497 #ifdef WITH_CONTENT_SCAN
 498   { "av_failed",           vtype_int,         &av_failed },
 499 #endif
 500 #ifdef EXPERIMENTAL_BRIGHTMAIL
 501   { "bmi_alt_location",    vtype_stringptr,   &bmi_alt_location },
 502   { "bmi_base64_tracker_verdict", vtype_stringptr, &bmi_base64_tracker_verdict },
 503   { "bmi_base64_verdict",  vtype_stringptr,   &bmi_base64_verdict },
 504   { "bmi_deliver",         vtype_int,         &bmi_deliver },
 505 #endif
 506   { "body_linecount",      vtype_int,         &body_linecount },
 507   { "body_zerocount",      vtype_int,         &body_zerocount },
 508   { "bounce_recipient",    vtype_stringptr,   &bounce_recipient },
 509   { "bounce_return_size_limit", vtype_int,    &bounce_return_size_limit },
 510   { "caller_gid",          vtype_gid,         &real_gid },
 511   { "caller_uid",          vtype_uid,         &real_uid },
 512   { "callout_address",     vtype_stringptr,   &callout_address },
 513   { "compile_date",        vtype_stringptr,   &version_date },
 514   { "compile_number",      vtype_stringptr,   &version_cnumber },
 515   { "config_dir",          vtype_stringptr,   &config_main_directory },
 516   { "config_file",         vtype_stringptr,   &config_main_filename },
 517   { "csa_status",          vtype_stringptr,   &csa_status },
 518 #ifdef EXPERIMENTAL_DCC
 519   { "dcc_header",          vtype_stringptr,   &dcc_header },
 520   { "dcc_result",          vtype_stringptr,   &dcc_result },
 521 #endif
 522 #ifndef DISABLE_DKIM
 523   { "dkim_algo",           vtype_dkim,        (void *)DKIM_ALGO },
 524   { "dkim_bodylength",     vtype_dkim,        (void *)DKIM_BODYLENGTH },
 525   { "dkim_canon_body",     vtype_dkim,        (void *)DKIM_CANON_BODY },
 526   { "dkim_canon_headers",  vtype_dkim,        (void *)DKIM_CANON_HEADERS },
 527   { "dkim_copiedheaders",  vtype_dkim,        (void *)DKIM_COPIEDHEADERS },
 528   { "dkim_created",        vtype_dkim,        (void *)DKIM_CREATED },
 529   { "dkim_cur_signer",     vtype_stringptr,   &dkim_cur_signer },
 530   { "dkim_domain",         vtype_stringptr,   &dkim_signing_domain },
 531   { "dkim_expires",        vtype_dkim,        (void *)DKIM_EXPIRES },
 532   { "dkim_headernames",    vtype_dkim,        (void *)DKIM_HEADERNAMES },
 533   { "dkim_identity",       vtype_dkim,        (void *)DKIM_IDENTITY },
 534   { "dkim_key_granularity",vtype_dkim,        (void *)DKIM_KEY_GRANULARITY },
 535   { "dkim_key_length",     vtype_int,         &dkim_key_length },
 536   { "dkim_key_nosubdomains",vtype_dkim,       (void *)DKIM_NOSUBDOMAINS },
 537   { "dkim_key_notes",      vtype_dkim,        (void *)DKIM_KEY_NOTES },
 538   { "dkim_key_srvtype",    vtype_dkim,        (void *)DKIM_KEY_SRVTYPE },
 539   { "dkim_key_testing",    vtype_dkim,        (void *)DKIM_KEY_TESTING },
 540   { "dkim_selector",       vtype_stringptr,   &dkim_signing_selector },
 541   { "dkim_signers",        vtype_stringptr,   &dkim_signers },
 542   { "dkim_verify_reason",  vtype_stringptr,   &dkim_verify_reason },
 543   { "dkim_verify_status",  vtype_stringptr,   &dkim_verify_status },
 544 #endif
 545 #ifdef SUPPORT_DMARC
 546   { "dmarc_domain_policy", vtype_stringptr,   &dmarc_domain_policy },
 547   { "dmarc_status",        vtype_stringptr,   &dmarc_status },
 548   { "dmarc_status_text",   vtype_stringptr,   &dmarc_status_text },
 549   { "dmarc_used_domain",   vtype_stringptr,   &dmarc_used_domain },
 550 #endif
 551   { "dnslist_domain",      vtype_stringptr,   &dnslist_domain },
 552   { "dnslist_matched",     vtype_stringptr,   &dnslist_matched },
 553   { "dnslist_text",        vtype_stringptr,   &dnslist_text },
 554   { "dnslist_value",       vtype_stringptr,   &dnslist_value },
 555   { "domain",              vtype_stringptr,   &deliver_domain },
 556   { "domain_data",         vtype_stringptr,   &deliver_domain_data },
 557 #ifndef DISABLE_EVENT
 558   { "event_data",          vtype_stringptr,   &event_data },
 559
 560   /*XXX want to use generic vars for as many of these as possible*/
 561   { "event_defer_errno",   vtype_int,         &event_defer_errno },
 562
 563   { "event_name",          vtype_stringptr,   &event_name },
 564 #endif
 565   { "exim_gid",            vtype_gid,         &exim_gid },
 566   { "exim_path",           vtype_stringptr,   &exim_path },
 567   { "exim_uid",            vtype_uid,         &exim_uid },
 568   { "exim_version",        vtype_stringptr,   &version_string },
 569   { "headers_added",       vtype_string_func, (void *) &fn_hdrs_added },
 570   { "home",                vtype_stringptr,   &deliver_home },
 571   { "host",                vtype_stringptr,   &deliver_host },
 572   { "host_address",        vtype_stringptr,   &deliver_host_address },
 573   { "host_data",           vtype_stringptr,   &host_data },
 574   { "host_lookup_deferred",vtype_int,         &host_lookup_deferred },
 575   { "host_lookup_failed",  vtype_int,         &host_lookup_failed },
 576   { "host_port",           vtype_int,         &deliver_host_port },
 577   { "initial_cwd",         vtype_stringptr,   &initial_cwd },
 578   { "inode",               vtype_ino,         &deliver_inode },
 579   { "interface_address",   vtype_stringptr,   &interface_address },
 580   { "interface_port",      vtype_int,         &interface_port },
 581   { "item",                vtype_stringptr,   &iterate_item },
 582   #ifdef LOOKUP_LDAP
 583   { "ldap_dn",             vtype_stringptr,   &eldap_dn },
 584   #endif
 585   { "load_average",        vtype_load_avg,    NULL },
 586   { "local_part",          vtype_stringptr,   &deliver_localpart },
 587   { "local_part_data",     vtype_stringptr,   &deliver_localpart_data },
 588   { "local_part_prefix",   vtype_stringptr,   &deliver_localpart_prefix },
 589   { "local_part_suffix",   vtype_stringptr,   &deliver_localpart_suffix },
 590 #ifdef HAVE_LOCAL_SCAN
 591   { "local_scan_data",     vtype_stringptr,   &local_scan_data },
 592 #endif
 593   { "local_user_gid",      vtype_gid,         &local_user_gid },
 594   { "local_user_uid",      vtype_uid,         &local_user_uid },
 595   { "localhost_number",    vtype_int,         &host_number },
 596   { "log_inodes",          vtype_pinodes,     (void *)FALSE },
 597   { "log_space",           vtype_pspace,      (void *)FALSE },
 598   { "lookup_dnssec_authenticated",vtype_stringptr,&lookup_dnssec_authenticated},
 599   { "mailstore_basename",  vtype_stringptr,   &mailstore_basename },
 600 #ifdef WITH_CONTENT_SCAN
 601   { "malware_name",        vtype_stringptr,   &malware_name },
 602 #endif
 603   { "max_received_linelength", vtype_int,     &max_received_linelength },
 604   { "message_age",         vtype_int,         &message_age },
 605   { "message_body",        vtype_msgbody,     &message_body },
 606   { "message_body_end",    vtype_msgbody_end, &message_body_end },
 607   { "message_body_size",   vtype_int,         &message_body_size },
 608   { "message_exim_id",     vtype_stringptr,   &message_id },
 609   { "message_headers",     vtype_msgheaders,  NULL },
 610   { "message_headers_raw", vtype_msgheaders_raw, NULL },
 611   { "message_id",          vtype_stringptr,   &message_id },
 612   { "message_linecount",   vtype_int,         &message_linecount },
 613   { "message_size",        vtype_int,         &message_size },
 614 #ifdef SUPPORT_I18N
 615   { "message_smtputf8",    vtype_bool,        &message_smtputf8 },
 616 #endif
 617 #ifdef WITH_CONTENT_SCAN
 618   { "mime_anomaly_level",  vtype_int,         &mime_anomaly_level },
 619   { "mime_anomaly_text",   vtype_stringptr,   &mime_anomaly_text },
 620   { "mime_boundary",       vtype_stringptr,   &mime_boundary },
 621   { "mime_charset",        vtype_stringptr,   &mime_charset },
 622   { "mime_content_description", vtype_stringptr, &mime_content_description },
 623   { "mime_content_disposition", vtype_stringptr, &mime_content_disposition },
 624   { "mime_content_id",     vtype_stringptr,   &mime_content_id },
 625   { "mime_content_size",   vtype_int,         &mime_content_size },
 626   { "mime_content_transfer_encoding",vtype_stringptr, &mime_content_transfer_encoding },
 627   { "mime_content_type",   vtype_stringptr,   &mime_content_type },
 628   { "mime_decoded_filename", vtype_stringptr, &mime_decoded_filename },
 629   { "mime_filename",       vtype_stringptr,   &mime_filename },
 630   { "mime_is_coverletter", vtype_int,         &mime_is_coverletter },
 631   { "mime_is_multipart",   vtype_int,         &mime_is_multipart },
 632   { "mime_is_rfc822",      vtype_int,         &mime_is_rfc822 },
 633   { "mime_part_count",     vtype_int,         &mime_part_count },
 634 #endif
 635   { "n0",                  vtype_filter_int,  &filter_n[0] },
 636   { "n1",                  vtype_filter_int,  &filter_n[1] },
 637   { "n2",                  vtype_filter_int,  &filter_n[2] },
 638   { "n3",                  vtype_filter_int,  &filter_n[3] },
 639   { "n4",                  vtype_filter_int,  &filter_n[4] },
 640   { "n5",                  vtype_filter_int,  &filter_n[5] },
 641   { "n6",                  vtype_filter_int,  &filter_n[6] },
 642   { "n7",                  vtype_filter_int,  &filter_n[7] },
 643   { "n8",                  vtype_filter_int,  &filter_n[8] },
 644   { "n9",                  vtype_filter_int,  &filter_n[9] },
 645   { "original_domain",     vtype_stringptr,   &deliver_domain_orig },
 646   { "original_local_part", vtype_stringptr,   &deliver_localpart_orig },
 647   { "originator_gid",      vtype_gid,         &originator_gid },
 648   { "originator_uid",      vtype_uid,         &originator_uid },
 649   { "parent_domain",       vtype_stringptr,   &deliver_domain_parent },
 650   { "parent_local_part",   vtype_stringptr,   &deliver_localpart_parent },
 651   { "pid",                 vtype_pid,         NULL },
 652 #ifndef DISABLE_PRDR
 653   { "prdr_requested",      vtype_bool,        &prdr_requested },
 654 #endif
 655   { "primary_hostname",    vtype_stringptr,   &primary_hostname },
 656 #if defined(SUPPORT_PROXY) || defined(SUPPORT_SOCKS)
 657   { "proxy_external_address",vtype_stringptr, &proxy_external_address },
 658   { "proxy_external_port", vtype_int,         &proxy_external_port },
 659   { "proxy_local_address", vtype_stringptr,   &proxy_local_address },
 660   { "proxy_local_port",    vtype_int,         &proxy_local_port },
 661   { "proxy_session",       vtype_bool,        &proxy_session },
 662 #endif
 663   { "prvscheck_address",   vtype_stringptr,   &prvscheck_address },
 664   { "prvscheck_keynum",    vtype_stringptr,   &prvscheck_keynum },
 665   { "prvscheck_result",    vtype_stringptr,   &prvscheck_result },
 666   { "qualify_domain",      vtype_stringptr,   &qualify_domain_sender },
 667   { "qualify_recipient",   vtype_stringptr,   &qualify_domain_recipient },
 668   { "queue_name",          vtype_stringptr,   &queue_name },
 669   { "rcpt_count",          vtype_int,         &rcpt_count },
 670   { "rcpt_defer_count",    vtype_int,         &rcpt_defer_count },
 671   { "rcpt_fail_count",     vtype_int,         &rcpt_fail_count },
 672   { "received_count",      vtype_int,         &received_count },
 673   { "received_for",        vtype_stringptr,   &received_for },
 674   { "received_ip_address", vtype_stringptr,   &interface_address },
 675   { "received_port",       vtype_int,         &interface_port },
 676   { "received_protocol",   vtype_stringptr,   &received_protocol },
 677   { "received_time",       vtype_int,         &received_time.tv_sec },
 678   { "recipient_data",      vtype_stringptr,   &recipient_data },
 679   { "recipient_verify_failure",vtype_stringptr,&recipient_verify_failure },
 680   { "recipients",          vtype_string_func, (void *) &fn_recipients },
 681   { "recipients_count",    vtype_int,         &recipients_count },
 682 #ifdef WITH_CONTENT_SCAN
 683   { "regex_match_string",  vtype_stringptr,   &regex_match_string },
 684 #endif
 685   { "reply_address",       vtype_reply,       NULL },
 686   { "return_path",         vtype_stringptr,   &return_path },
 687   { "return_size_limit",   vtype_int,         &bounce_return_size_limit },
 688   { "router_name",         vtype_stringptr,   &router_name },
 689   { "runrc",               vtype_int,         &runrc },
 690   { "self_hostname",       vtype_stringptr,   &self_hostname },
 691   { "sender_address",      vtype_stringptr,   &sender_address },
 692   { "sender_address_data", vtype_stringptr,   &sender_address_data },
 693   { "sender_address_domain", vtype_domain,    &sender_address },
 694   { "sender_address_local_part", vtype_localpart, &sender_address },
 695   { "sender_data",         vtype_stringptr,   &sender_data },
 696   { "sender_fullhost",     vtype_stringptr,   &sender_fullhost },
 697   { "sender_helo_dnssec",  vtype_bool,        &sender_helo_dnssec },
 698   { "sender_helo_name",    vtype_stringptr,   &sender_helo_name },
 699   { "sender_host_address", vtype_stringptr,   &sender_host_address },
 700   { "sender_host_authenticated",vtype_stringptr, &sender_host_authenticated },
 701   { "sender_host_dnssec",  vtype_bool,        &sender_host_dnssec },
 702   { "sender_host_name",    vtype_host_lookup, NULL },
 703   { "sender_host_port",    vtype_int,         &sender_host_port },
 704   { "sender_ident",        vtype_stringptr,   &sender_ident },
 705   { "sender_rate",         vtype_stringptr,   &sender_rate },
 706   { "sender_rate_limit",   vtype_stringptr,   &sender_rate_limit },
 707   { "sender_rate_period",  vtype_stringptr,   &sender_rate_period },
 708   { "sender_rcvhost",      vtype_stringptr,   &sender_rcvhost },
 709   { "sender_verify_failure",vtype_stringptr,  &sender_verify_failure },
 710   { "sending_ip_address",  vtype_stringptr,   &sending_ip_address },
 711   { "sending_port",        vtype_int,         &sending_port },
 712   { "smtp_active_hostname", vtype_stringptr,  &smtp_active_hostname },
 713   { "smtp_command",        vtype_stringptr,   &smtp_cmd_buffer },
 714   { "smtp_command_argument", vtype_stringptr, &smtp_cmd_argument },
 715   { "smtp_command_history", vtype_string_func, (void *) &smtp_cmd_hist },
 716   { "smtp_count_at_connection_start", vtype_int, &smtp_accept_count },
 717   { "smtp_notquit_reason", vtype_stringptr,   &smtp_notquit_reason },
 718   { "sn0",                 vtype_filter_int,  &filter_sn[0] },
 719   { "sn1",                 vtype_filter_int,  &filter_sn[1] },
 720   { "sn2",                 vtype_filter_int,  &filter_sn[2] },
 721   { "sn3",                 vtype_filter_int,  &filter_sn[3] },
 722   { "sn4",                 vtype_filter_int,  &filter_sn[4] },
 723   { "sn5",                 vtype_filter_int,  &filter_sn[5] },
 724   { "sn6",                 vtype_filter_int,  &filter_sn[6] },
 725   { "sn7",                 vtype_filter_int,  &filter_sn[7] },
 726   { "sn8",                 vtype_filter_int,  &filter_sn[8] },
 727   { "sn9",                 vtype_filter_int,  &filter_sn[9] },
 728 #ifdef WITH_CONTENT_SCAN
 729   { "spam_action",         vtype_stringptr,   &spam_action },
 730   { "spam_bar",            vtype_stringptr,   &spam_bar },
 731   { "spam_report",         vtype_stringptr,   &spam_report },
 732   { "spam_score",          vtype_stringptr,   &spam_score },
 733   { "spam_score_int",      vtype_stringptr,   &spam_score_int },
 734 #endif
 735 #ifdef SUPPORT_SPF
 736   { "spf_guess",           vtype_stringptr,   &spf_guess },
 737   { "spf_header_comment",  vtype_stringptr,   &spf_header_comment },
 738   { "spf_received",        vtype_stringptr,   &spf_received },
 739   { "spf_result",          vtype_stringptr,   &spf_result },
 740   { "spf_result_guessed",  vtype_bool,        &spf_result_guessed },
 741   { "spf_smtp_comment",    vtype_stringptr,   &spf_smtp_comment },
 742 #endif
 743   { "spool_directory",     vtype_stringptr,   &spool_directory },
 744   { "spool_inodes",        vtype_pinodes,     (void *)TRUE },
 745   { "spool_space",         vtype_pspace,      (void *)TRUE },
 746 #ifdef EXPERIMENTAL_SRS
 747   { "srs_db_address",      vtype_stringptr,   &srs_db_address },
 748   { "srs_db_key",          vtype_stringptr,   &srs_db_key },
 749   { "srs_orig_recipient",  vtype_stringptr,   &srs_orig_recipient },
 750   { "srs_orig_sender",     vtype_stringptr,   &srs_orig_sender },
 751 #endif
 752 #if defined(EXPERIMENTAL_SRS) || defined(EXPERIMENTAL_SRS_NATIVE)
 753   { "srs_recipient",       vtype_stringptr,   &srs_recipient },
 754 #endif
 755 #ifdef EXPERIMENTAL_SRS
 756   { "srs_status",          vtype_stringptr,   &srs_status },
 757 #endif
 758   { "thisaddress",         vtype_stringptr,   &filter_thisaddress },
 759
 760   /* The non-(in,out) variables are now deprecated */
 761   { "tls_bits",            vtype_int,         &tls_in.bits },
 762   { "tls_certificate_verified", vtype_int,    &tls_in.certificate_verified },
 763   { "tls_cipher",          vtype_stringptr,   &tls_in.cipher },
 764
 765   { "tls_in_bits",         vtype_int,         &tls_in.bits },
 766   { "tls_in_certificate_verified", vtype_int, &tls_in.certificate_verified },
 767   { "tls_in_cipher",       vtype_stringptr,   &tls_in.cipher },
 768   { "tls_in_cipher_std",   vtype_stringptr,   &tls_in.cipher_stdname },
 769   { "tls_in_ocsp",         vtype_int,         &tls_in.ocsp },
 770   { "tls_in_ourcert",      vtype_cert,        &tls_in.ourcert },
 771   { "tls_in_peercert",     vtype_cert,        &tls_in.peercert },
 772   { "tls_in_peerdn",       vtype_stringptr,   &tls_in.peerdn },
 773 #ifdef EXPERIMENTAL_TLS_RESUME
 774   { "tls_in_resumption",   vtype_int,         &tls_in.resumption },
 775 #endif
 776 #ifndef DISABLE_TLS
 777   { "tls_in_sni",          vtype_stringptr,   &tls_in.sni },
 778 #endif
 779   { "tls_in_ver",          vtype_stringptr,   &tls_in.ver },
 780   { "tls_out_bits",        vtype_int,         &tls_out.bits },
 781   { "tls_out_certificate_verified", vtype_int,&tls_out.certificate_verified },
 782   { "tls_out_cipher",      vtype_stringptr,   &tls_out.cipher },
 783   { "tls_out_cipher_std",  vtype_stringptr,   &tls_out.cipher_stdname },
 784 #ifdef SUPPORT_DANE
 785   { "tls_out_dane",        vtype_bool,        &tls_out.dane_verified },
 786 #endif
 787   { "tls_out_ocsp",        vtype_int,         &tls_out.ocsp },
 788   { "tls_out_ourcert",     vtype_cert,        &tls_out.ourcert },
 789   { "tls_out_peercert",    vtype_cert,        &tls_out.peercert },
 790   { "tls_out_peerdn",      vtype_stringptr,   &tls_out.peerdn },
 791 #ifdef EXPERIMENTAL_TLS_RESUME
 792   { "tls_out_resumption",  vtype_int,         &tls_out.resumption },
 793 #endif
 794 #ifndef DISABLE_TLS
 795   { "tls_out_sni",         vtype_stringptr,   &tls_out.sni },
 796 #endif
 797 #ifdef SUPPORT_DANE
 798   { "tls_out_tlsa_usage",  vtype_int,         &tls_out.tlsa_usage },
 799 #endif
 800   { "tls_out_ver",         vtype_stringptr,   &tls_out.ver },
 801
 802   { "tls_peerdn",          vtype_stringptr,   &tls_in.peerdn }, /* mind the alphabetical order! */
 803 #ifndef DISABLE_TLS
 804   { "tls_sni",             vtype_stringptr,   &tls_in.sni },    /* mind the alphabetical order! */
 805 #endif
 806
 807   { "tod_bsdinbox",        vtype_todbsdin,    NULL },
 808   { "tod_epoch",           vtype_tode,        NULL },
 809   { "tod_epoch_l",         vtype_todel,       NULL },
 810   { "tod_full",            vtype_todf,        NULL },
 811   { "tod_log",             vtype_todl,        NULL },
 812   { "tod_logfile",         vtype_todlf,       NULL },
 813   { "tod_zone",            vtype_todzone,     NULL },
 814   { "tod_zulu",            vtype_todzulu,     NULL },
 815   { "transport_name",      vtype_stringptr,   &transport_name },
 816   { "value",               vtype_stringptr,   &lookup_value },
 817   { "verify_mode",         vtype_stringptr,   &verify_mode },
 818   { "version_number",      vtype_stringptr,   &version_string },
 819   { "warn_message_delay",  vtype_stringptr,   &warnmsg_delay },
 820   { "warn_message_recipient",vtype_stringptr, &warnmsg_recipients },
 821   { "warn_message_recipients",vtype_stringptr,&warnmsg_recipients },
 822   { "warnmsg_delay",       vtype_stringptr,   &warnmsg_delay },
 823   { "warnmsg_recipient",   vtype_stringptr,   &warnmsg_recipients },
 824   { "warnmsg_recipients",  vtype_stringptr,   &warnmsg_recipients }
 825 };
 826
 827 static int var_table_size = nelem(var_table);
 828 static uschar var_buffer[256];
 829 static BOOL malformed_header;
 830
 831 /* For textual hashes */
 832
 833 static const char *hashcodes = "abcdefghijklmnopqrtsuvwxyz"
 834                                "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
 835                                "0123456789";
 836
 837 enum { HMAC_MD5, HMAC_SHA1 };
 838
 839 /* For numeric hashes */
 840
 841 static unsigned int prime[] = {
 842   2,   3,   5,   7,  11,  13,  17,  19,  23,  29,
 843  31,  37,  41,  43,  47,  53,  59,  61,  67,  71,
 844  73,  79,  83,  89,  97, 101, 103, 107, 109, 113};
 845
 846 /* For printing modes in symbolic form */
 847
 848 static uschar *mtable_normal[] =
 849   { US"---", US"--x", US"-w-", US"-wx", US"r--", US"r-x", US"rw-", US"rwx" };
 850
 851 static uschar *mtable_setid[] =
 852   { US"--S", US"--s", US"-wS", US"-ws", US"r-S", US"r-s", US"rwS", US"rws" };
 853
 854 static uschar *mtable_sticky[] =
 855   { US"--T", US"--t", US"-wT", US"-wt", US"r-T", US"r-t", US"rwT", US"rwt" };
 856
 857 /* flags for find_header() */
 858 #define FH_EXISTS_ONLY  BIT(0)
 859 #define FH_WANT_RAW     BIT(1)
 860 #define FH_WANT_LIST    BIT(2)
 861
 862
 863 /*************************************************
 864 *           Tables for UTF-8 support             *
 865 *************************************************/
 866
 867 /* Table of the number of extra characters, indexed by the first character
 868 masked with 0x3f. The highest number for a valid UTF-8 character is in fact
 869 0x3d. */
 870
 871 static uschar utf8_table1[] = {
 872   1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
 873   1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
 874   2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,
 875   3,3,3,3,3,3,3,3,4,4,4,4,5,5,5,5 };
 876
 877 /* These are the masks for the data bits in the first byte of a character,
 878 indexed by the number of additional bytes. */
 879
 880 static int utf8_table2[] = { 0xff, 0x1f, 0x0f, 0x07, 0x03, 0x01};
 881
 882 /* Get the next UTF-8 character, advancing the pointer. */
 883
 884 #define GETUTF8INC(c, ptr) \
 885   c = *ptr++; \
 886   if ((c & 0xc0) == 0xc0) \
 887     { \
 888     int a = utf8_table1[c & 0x3f];  /* Number of additional bytes */ \
 889     int s = 6*a; \
 890     c = (c & utf8_table2[a]) << s; \
 891     while (a-- > 0) \
 892       { \
 893       s -= 6; \
 894       c |= (*ptr++ & 0x3f) << s; \
 895       } \
 896     }
 897
 898
 899
 900 static uschar * base32_chars = US"abcdefghijklmnopqrstuvwxyz234567";
 901
 902 /*************************************************
 903 *           Binary chop search on a table        *
 904 *************************************************/
 905
 906 /* This is used for matching expansion items and operators.
 907
 908 Arguments:
 909   name        the name that is being sought
 910   table       the table to search
 911   table_size  the number of items in the table
 912
 913 Returns:      the offset in the table, or -1
 914 */
 915
 916 static int
 917 chop_match(uschar *name, uschar **table, int table_size)
 918 {
 919 uschar **bot = table;
 920 uschar **top = table + table_size;
 921
 922 while (top > bot)
 923   {
 924   uschar **mid = bot + (top - bot)/2;
 925   int c = Ustrcmp(name, *mid);
 926   if (c == 0) return mid - table;
 927   if (c > 0) bot = mid + 1; else top = mid;
 928   }
 929
 930 return -1;
 931 }
 932
 933
 934
 935 /*************************************************
 936 *          Check a condition string              *
 937 *************************************************/
 938
 939 /* This function is called to expand a string, and test the result for a "true"
 940 or "false" value. Failure of the expansion yields FALSE; logged unless it was a
 941 forced fail or lookup defer.
 942
 943 We used to release all store used, but this is not not safe due
 944 to ${dlfunc } and ${acl }.  In any case expand_string_internal()
 945 is reasonably careful to release what it can.
 946
 947 The actual false-value tests should be replicated for ECOND_BOOL_LAX.
 948
 949 Arguments:
 950   condition     the condition string
 951   m1            text to be incorporated in panic error
 952   m2            ditto
 953
 954 Returns:        TRUE if condition is met, FALSE if not
 955 */
 956
 957 BOOL
 958 expand_check_condition(uschar *condition, uschar *m1, uschar *m2)
 959 {
 960 uschar * ss = expand_string(condition);
 961 if (!ss)
 962   {
 963   if (!f.expand_string_forcedfail && !f.search_find_defer)
 964     log_write(0, LOG_MAIN|LOG_PANIC, "failed to expand condition \"%s\" "
 965       "for %s %s: %s", condition, m1, m2, expand_string_message);
 966   return FALSE;
 967   }
 968 return *ss && Ustrcmp(ss, "0") != 0 && strcmpic(ss, US"no") != 0 &&
 969   strcmpic(ss, US"false") != 0;
 970 }
 971
 972
 973
 974
 975 /*************************************************
 976 *        Pseudo-random number generation         *
 977 *************************************************/
 978
 979 /* Pseudo-random number generation.  The result is not "expected" to be
 980 cryptographically strong but not so weak that someone will shoot themselves
 981 in the foot using it as a nonce in some email header scheme or whatever
 982 weirdness they'll twist this into.  The result should ideally handle fork().
 983
 984 However, if we're stuck unable to provide this, then we'll fall back to
 985 appallingly bad randomness.
 986
 987 If DISABLE_TLS is not defined then this will not be used except as an emergency
 988 fallback.
 989
 990 Arguments:
 991   max       range maximum
 992 Returns     a random number in range [0, max-1]
 993 */
 994
 995 #ifndef DISABLE_TLS
 996 # define vaguely_random_number vaguely_random_number_fallback
 997 #endif
 998 int
 999 vaguely_random_number(int max)
1000 {
1001 #ifndef DISABLE_TLS
1002 # undef vaguely_random_number
1003 #endif
1004 static pid_t pid = 0;
1005 pid_t p2;
1006
1007 if ((p2 = getpid()) != pid)
1008   {
1009   if (pid != 0)
1010     {
1011
1012 #ifdef HAVE_ARC4RANDOM
1013     /* cryptographically strong randomness, common on *BSD platforms, not
1014     so much elsewhere.  Alas. */
1015 # ifndef NOT_HAVE_ARC4RANDOM_STIR
1016     arc4random_stir();
1017 # endif
1018 #elif defined(HAVE_SRANDOM) || defined(HAVE_SRANDOMDEV)
1019 # ifdef HAVE_SRANDOMDEV
1020     /* uses random(4) for seeding */
1021     srandomdev();
1022 # else
1023     {
1024     struct timeval tv;
1025     gettimeofday(&tv, NULL);
1026     srandom(tv.tv_sec | tv.tv_usec | getpid());
1027     }
1028 # endif
1029 #else
1030     /* Poor randomness and no seeding here */
1031 #endif
1032
1033     }
1034   pid = p2;
1035   }
1036
1037 #ifdef HAVE_ARC4RANDOM
1038 return arc4random() % max;
1039 #elif defined(HAVE_SRANDOM) || defined(HAVE_SRANDOMDEV)
1040 return random() % max;
1041 #else
1042 /* This one returns a 16-bit number, definitely not crypto-strong */
1043 return random_number(max);
1044 #endif
1045 }
1046
1047
1048
1049
1050 /*************************************************
1051 *             Pick out a name from a string      *
1052 *************************************************/
1053
1054 /* If the name is too long, it is silently truncated.
1055
1056 Arguments:
1057   name      points to a buffer into which to put the name
1058   max       is the length of the buffer
1059   s         points to the first alphabetic character of the name
1060   extras    chars other than alphanumerics to permit
1061
1062 Returns:    pointer to the first character after the name
1063
1064 Note: The test for *s != 0 in the while loop is necessary because
1065 Ustrchr() yields non-NULL if the character is zero (which is not something
1066 I expected). */
1067
1068 static const uschar *
1069 read_name(uschar *name, int max, const uschar *s, uschar *extras)
1070 {
1071 int ptr = 0;
1072 while (*s && (isalnum(*s) || Ustrchr(extras, *s) != NULL))
1073   {
1074   if (ptr < max-1) name[ptr++] = *s;
1075   s++;
1076   }
1077 name[ptr] = 0;
1078 return s;
1079 }
1080
1081
1082
1083 /*************************************************
1084 *     Pick out the rest of a header name         *
1085 *************************************************/
1086
1087 /* A variable name starting $header_ (or just $h_ for those who like
1088 abbreviations) might not be the complete header name because headers can
1089 contain any printing characters in their names, except ':'. This function is
1090 called to read the rest of the name, chop h[eader]_ off the front, and put ':'
1091 on the end, if the name was terminated by white space.
1092
1093 Arguments:
1094   name      points to a buffer in which the name read so far exists
1095   max       is the length of the buffer
1096   s         points to the first character after the name so far, i.e. the
1097             first non-alphameric character after $header_xxxxx
1098
1099 Returns:    a pointer to the first character after the header name
1100 */
1101
1102 static const uschar *
1103 read_header_name(uschar *name, int max, const uschar *s)
1104 {
1105 int prelen = Ustrchr(name, '_') - name + 1;
1106 int ptr = Ustrlen(name) - prelen;
1107 if (ptr > 0) memmove(name, name+prelen, ptr);
1108 while (mac_isgraph(*s) && *s != ':')
1109   {
1110   if (ptr < max-1) name[ptr++] = *s;
1111   s++;
1112   }
1113 if (*s == ':') s++;
1114 name[ptr++] = ':';
1115 name[ptr] = 0;
1116 return s;
1117 }
1118
1119
1120
1121 /*************************************************
1122 *           Pick out a number from a string      *
1123 *************************************************/
1124
1125 /* Arguments:
1126   n     points to an integer into which to put the number
1127   s     points to the first digit of the number
1128
1129 Returns:  a pointer to the character after the last digit
1130 */
1131 /*XXX consider expanding to int_eximarith_t.  But the test for
1132 "overbig numbers" in 0002 still needs to overflow it. */
1133
1134 static uschar *
1135 read_number(int *n, uschar *s)
1136 {
1137 *n = 0;
1138 while (isdigit(*s)) *n = *n * 10 + (*s++ - '0');
1139 return s;
1140 }
1141
1142 static const uschar *
1143 read_cnumber(int *n, const uschar *s)
1144 {
1145 *n = 0;
1146 while (isdigit(*s)) *n = *n * 10 + (*s++ - '0');
1147 return s;
1148 }
1149
1150
1151
1152 /*************************************************
1153 *        Extract keyed subfield from a string    *
1154 *************************************************/
1155
1156 /* The yield is in dynamic store; NULL means that the key was not found.
1157
1158 Arguments:
1159   key       points to the name of the key
1160   s         points to the string from which to extract the subfield
1161
1162 Returns:    NULL if the subfield was not found, or
1163             a pointer to the subfield's data
1164 */
1165
1166 static uschar *
1167 expand_getkeyed(uschar * key, const uschar * s)
1168 {
1169 int length = Ustrlen(key);
1170 while (isspace(*s)) s++;
1171
1172 /* Loop to search for the key */
1173
1174 while (*s)
1175   {
1176   int dkeylength;
1177   uschar * data;
1178   const uschar * dkey = s;
1179
1180   while (*s && *s != '=' && !isspace(*s)) s++;
1181   dkeylength = s - dkey;
1182   while (isspace(*s)) s++;
1183   if (*s == '=') while (isspace((*(++s))));
1184
1185   data = string_dequote(&s);
1186   if (length == dkeylength && strncmpic(key, dkey, length) == 0)
1187     return data;
1188
1189   while (isspace(*s)) s++;
1190   }
1191
1192 return NULL;
1193 }
1194
1195
1196
1197 static var_entry *
1198 find_var_ent(uschar * name)
1199 {
1200 int first = 0;
1201 int last = var_table_size;
1202
1203 while (last > first)
1204   {
1205   int middle = (first + last)/2;
1206   int c = Ustrcmp(name, var_table[middle].name);
1207
1208   if (c > 0) { first = middle + 1; continue; }
1209   if (c < 0) { last = middle; continue; }
1210   return &var_table[middle];
1211   }
1212 return NULL;
1213 }
1214
1215 /*************************************************
1216 *   Extract numbered subfield from string        *
1217 *************************************************/
1218
1219 /* Extracts a numbered field from a string that is divided by tokens - for
1220 example a line from /etc/passwd is divided by colon characters.  First field is
1221 numbered one.  Negative arguments count from the right. Zero returns the whole
1222 string. Returns NULL if there are insufficient tokens in the string
1223
1224 ***WARNING***
1225 Modifies final argument - this is a dynamically generated string, so that's OK.
1226
1227 Arguments:
1228   field       number of field to be extracted,
1229                 first field = 1, whole string = 0, last field = -1
1230   separators  characters that are used to break string into tokens
1231   s           points to the string from which to extract the subfield
1232
1233 Returns:      NULL if the field was not found,
1234               a pointer to the field's data inside s (modified to add 0)
1235 */
1236
1237 static uschar *
1238 expand_gettokened (int field, uschar *separators, uschar *s)
1239 {
1240 int sep = 1;
1241 int count;
1242 uschar *ss = s;
1243 uschar *fieldtext = NULL;
1244
1245 if (field == 0) return s;
1246
1247 /* Break the line up into fields in place; for field > 0 we stop when we have
1248 done the number of fields we want. For field < 0 we continue till the end of
1249 the string, counting the number of fields. */
1250
1251 count = (field > 0)? field : INT_MAX;
1252
1253 while (count-- > 0)
1254   {
1255   size_t len;
1256
1257   /* Previous field was the last one in the string. For a positive field
1258   number, this means there are not enough fields. For a negative field number,
1259   check that there are enough, and scan back to find the one that is wanted. */
1260
1261   if (sep == 0)
1262     {
1263     if (field > 0 || (-field) > (INT_MAX - count - 1)) return NULL;
1264     if ((-field) == (INT_MAX - count - 1)) return s;
1265     while (field++ < 0)
1266       {
1267       ss--;
1268       while (ss[-1] != 0) ss--;
1269       }
1270     fieldtext = ss;
1271     break;
1272     }
1273
1274   /* Previous field was not last in the string; save its start and put a
1275   zero at its end. */
1276
1277   fieldtext = ss;
1278   len = Ustrcspn(ss, separators);
1279   sep = ss[len];
1280   ss[len] = 0;
1281   ss += len + 1;
1282   }
1283
1284 return fieldtext;
1285 }
1286
1287
1288 static uschar *
1289 expand_getlistele(int field, const uschar * list)
1290 {
1291 const uschar * tlist = list;
1292 int sep = 0;
1293 uschar dummy;
1294
1295 if (field < 0)
1296   {
1297   for (field++; string_nextinlist(&tlist, &sep, &dummy, 1); ) field++;
1298   sep = 0;
1299   }
1300 if (field == 0) return NULL;
1301 while (--field > 0 && (string_nextinlist(&list, &sep, &dummy, 1))) ;
1302 return string_nextinlist(&list, &sep, NULL, 0);
1303 }
1304
1305
1306 /* Certificate fields, by name.  Worry about by-OID later */
1307 /* Names are chosen to not have common prefixes */
1308
1309 #ifndef DISABLE_TLS
1310 typedef struct
1311 {
1312 uschar * name;
1313 int      namelen;
1314 uschar * (*getfn)(void * cert, uschar * mod);
1315 } certfield;
1316 static certfield certfields[] =
1317 {                       /* linear search; no special order */
1318   { US"version",         7,  &tls_cert_version },
1319   { US"serial_number",   13, &tls_cert_serial_number },
1320   { US"subject",         7,  &tls_cert_subject },
1321   { US"notbefore",       9,  &tls_cert_not_before },
1322   { US"notafter",        8,  &tls_cert_not_after },
1323   { US"issuer",          6,  &tls_cert_issuer },
1324   { US"signature",       9,  &tls_cert_signature },
1325   { US"sig_algorithm",   13, &tls_cert_signature_algorithm },
1326   { US"subj_altname",    12, &tls_cert_subject_altname },
1327   { US"ocsp_uri",        8,  &tls_cert_ocsp_uri },
1328   { US"crl_uri",         7,  &tls_cert_crl_uri },
1329 };
1330
1331 static uschar *
1332 expand_getcertele(uschar * field, uschar * certvar)
1333 {
1334 var_entry * vp;
1335
1336 if (!(vp = find_var_ent(certvar)))
1337   {
1338   expand_string_message =
1339     string_sprintf("no variable named \"%s\"", certvar);
1340   return NULL;          /* Unknown variable name */
1341   }
1342 /* NB this stops us passing certs around in variable.  Might
1343 want to do that in future */
1344 if (vp->type != vtype_cert)
1345   {
1346   expand_string_message =
1347     string_sprintf("\"%s\" is not a certificate", certvar);
1348   return NULL;          /* Unknown variable name */
1349   }
1350 if (!*(void **)vp->value)
1351   return NULL;
1352
1353 if (*field >= '0' && *field <= '9')
1354   return tls_cert_ext_by_oid(*(void **)vp->value, field, 0);
1355
1356 for (certfield * cp = certfields;
1357      cp < certfields + nelem(certfields);
1358      cp++)
1359   if (Ustrncmp(cp->name, field, cp->namelen) == 0)
1360     {
1361     uschar * modifier = *(field += cp->namelen) == ','
1362       ? ++field : NULL;
1363     return (*cp->getfn)( *(void **)vp->value, modifier );
1364     }
1365
1366 expand_string_message =
1367   string_sprintf("bad field selector \"%s\" for certextract", field);
1368 return NULL;
1369 }
1370 #endif  /*DISABLE_TLS*/
1371
1372 /*************************************************
1373 *        Extract a substring from a string       *
1374 *************************************************/
1375
1376 /* Perform the ${substr or ${length expansion operations.
1377
1378 Arguments:
1379   subject     the input string
1380   value1      the offset from the start of the input string to the start of
1381                 the output string; if negative, count from the right.
1382   value2      the length of the output string, or negative (-1) for unset
1383                 if value1 is positive, unset means "all after"
1384                 if value1 is negative, unset means "all before"
1385   len         set to the length of the returned string
1386
1387 Returns:      pointer to the output string, or NULL if there is an error
1388 */
1389
1390 static uschar *
1391 extract_substr(uschar *subject, int value1, int value2, int *len)
1392 {
1393 int sublen = Ustrlen(subject);
1394
1395 if (value1 < 0)    /* count from right */
1396   {
1397   value1 += sublen;
1398
1399   /* If the position is before the start, skip to the start, and adjust the
1400   length. If the length ends up negative, the substring is null because nothing
1401   can precede. This falls out naturally when the length is unset, meaning "all
1402   to the left". */
1403
1404   if (value1 < 0)
1405     {
1406     value2 += value1;
1407     if (value2 < 0) value2 = 0;
1408     value1 = 0;
1409     }
1410
1411   /* Otherwise an unset length => characters before value1 */
1412
1413   else if (value2 < 0)
1414     {
1415     value2 = value1;
1416     value1 = 0;
1417     }
1418   }
1419
1420 /* For a non-negative offset, if the starting position is past the end of the
1421 string, the result will be the null string. Otherwise, an unset length means
1422 "rest"; just set it to the maximum - it will be cut down below if necessary. */
1423
1424 else
1425   {
1426   if (value1 > sublen)
1427     {
1428     value1 = sublen;
1429     value2 = 0;
1430     }
1431   else if (value2 < 0) value2 = sublen;
1432   }
1433
1434 /* Cut the length down to the maximum possible for the offset value, and get
1435 the required characters. */
1436
1437 if (value1 + value2 > sublen) value2 = sublen - value1;
1438 *len = value2;
1439 return subject + value1;
1440 }
1441
1442
1443
1444
1445 /*************************************************
1446 *            Old-style hash of a string          *
1447 *************************************************/
1448
1449 /* Perform the ${hash expansion operation.
1450
1451 Arguments:
1452   subject     the input string (an expanded substring)
1453   value1      the length of the output string; if greater or equal to the
1454                 length of the input string, the input string is returned
1455   value2      the number of hash characters to use, or 26 if negative
1456   len         set to the length of the returned string
1457
1458 Returns:      pointer to the output string, or NULL if there is an error
1459 */
1460
1461 static uschar *
1462 compute_hash(uschar *subject, int value1, int value2, int *len)
1463 {
1464 int sublen = Ustrlen(subject);
1465
1466 if (value2 < 0) value2 = 26;
1467 else if (value2 > Ustrlen(hashcodes))
1468   {
1469   expand_string_message =
1470     string_sprintf("hash count \"%d\" too big", value2);
1471   return NULL;
1472   }
1473
1474 /* Calculate the hash text. We know it is shorter than the original string, so
1475 can safely place it in subject[] (we know that subject is always itself an
1476 expanded substring). */
1477
1478 if (value1 < sublen)
1479   {
1480   int c;
1481   int i = 0;
1482   int j = value1;
1483   while ((c = (subject[j])) != 0)
1484     {
1485     int shift = (c + j++) & 7;
1486     subject[i] ^= (c << shift) | (c >> (8-shift));
1487     if (++i >= value1) i = 0;
1488     }
1489   for (i = 0; i < value1; i++)
1490     subject[i] = hashcodes[(subject[i]) % value2];
1491   }
1492 else value1 = sublen;
1493
1494 *len = value1;
1495 return subject;
1496 }
1497
1498
1499
1500
1501 /*************************************************
1502 *             Numeric hash of a string           *
1503 *************************************************/
1504
1505 /* Perform the ${nhash expansion operation. The first characters of the
1506 string are treated as most important, and get the highest prime numbers.
1507
1508 Arguments:
1509   subject     the input string
1510   value1      the maximum value of the first part of the result
1511   value2      the maximum value of the second part of the result,
1512                 or negative to produce only a one-part result
1513   len         set to the length of the returned string
1514
1515 Returns:  pointer to the output string, or NULL if there is an error.
1516 */
1517
1518 static uschar *
1519 compute_nhash (uschar *subject, int value1, int value2, int *len)
1520 {
1521 uschar *s = subject;
1522 int i = 0;
1523 unsigned long int total = 0; /* no overflow */
1524
1525 while (*s != 0)
1526   {
1527   if (i == 0) i = nelem(prime) - 1;
1528   total += prime[i--] * (unsigned int)(*s++);
1529   }
1530
1531 /* If value2 is unset, just compute one number */
1532
1533 if (value2 < 0)
1534   s = string_sprintf("%lu", total % value1);
1535
1536 /* Otherwise do a div/mod hash */
1537
1538 else
1539   {
1540   total = total % (value1 * value2);
1541   s = string_sprintf("%lu/%lu", total/value2, total % value2);
1542   }
1543
1544 *len = Ustrlen(s);
1545 return s;
1546 }
1547
1548
1549
1550
1551
1552 /*************************************************
1553 *     Find the value of a header or headers      *
1554 *************************************************/
1555
1556 /* Multiple instances of the same header get concatenated, and this function
1557 can also return a concatenation of all the header lines. When concatenating
1558 specific headers that contain lists of addresses, a comma is inserted between
1559 them. Otherwise we use a straight concatenation. Because some messages can have
1560 pathologically large number of lines, there is a limit on the length that is
1561 returned.
1562
1563 Arguments:
1564   name          the name of the header, without the leading $header_ or $h_,
1565                 or NULL if a concatenation of all headers is required
1566   newsize       return the size of memory block that was obtained; may be NULL
1567                 if exists_only is TRUE
1568   flags         FH_EXISTS_ONLY
1569                   set if called from a def: test; don't need to build a string;
1570                   just return a string that is not "" and not "0" if the header
1571                   exists
1572                 FH_WANT_RAW
1573                   set if called for $rh_ or $rheader_ items; no processing,
1574                   other than concatenating, will be done on the header. Also used
1575                   for $message_headers_raw.
1576                 FH_WANT_LIST
1577                   Double colon chars in the content, and replace newline with
1578                   colon between each element when concatenating; returning a
1579                   colon-sep list (elements might contain newlines)
1580   charset       name of charset to translate MIME words to; used only if
1581                 want_raw is false; if NULL, no translation is done (this is
1582                 used for $bh_ and $bheader_)
1583
1584 Returns:        NULL if the header does not exist, else a pointer to a new
1585                 store block
1586 */
1587
1588 static uschar *
1589 find_header(uschar *name, int *newsize, unsigned flags, uschar *charset)
1590 {
1591 BOOL found = !name;
1592 int len = name ? Ustrlen(name) : 0;
1593 BOOL comma = FALSE;
1594 gstring * g = NULL;
1595
1596 for (header_line * h = header_list; h; h = h->next)
1597   if (h->type != htype_old && h->text)  /* NULL => Received: placeholder */
1598     if (!name || (len <= h->slen && strncmpic(name, h->text, len) == 0))
1599       {
1600       uschar * s, * t;
1601       size_t inc;
1602
1603       if (flags & FH_EXISTS_ONLY)
1604         return US"1";  /* don't need actual string */
1605
1606       found = TRUE;
1607       s = h->text + len;                /* text to insert */
1608       if (!(flags & FH_WANT_RAW))       /* unless wanted raw, */
1609         while (isspace(*s)) s++;        /* remove leading white space */
1610       t = h->text + h->slen;            /* end-point */
1611
1612       /* Unless wanted raw, remove trailing whitespace, including the
1613       newline. */
1614
1615       if (flags & FH_WANT_LIST)
1616         while (t > s && t[-1] == '\n') t--;
1617       else if (!(flags & FH_WANT_RAW))
1618         {
1619         while (t > s && isspace(t[-1])) t--;
1620
1621         /* Set comma if handling a single header and it's one of those
1622         that contains an address list, except when asked for raw headers. Only
1623         need to do this once. */
1624
1625         if (name && !comma && Ustrchr("BCFRST", h->type)) comma = TRUE;
1626         }
1627
1628       /* Trim the header roughly if we're approaching limits */
1629       inc = t - s;
1630       if ((g ? g->ptr : 0) + inc > header_insert_maxlen)
1631         inc = header_insert_maxlen - (g ? g->ptr : 0);
1632
1633       /* For raw just copy the data; for a list, add the data as a colon-sep
1634       list-element; for comma-list add as an unchecked comma,newline sep
1635       list-elemment; for other nonraw add as an unchecked newline-sep list (we
1636       stripped trailing WS above including the newline). We ignore the potential
1637       expansion due to colon-doubling, just leaving the loop if the limit is met
1638       or exceeded. */
1639
1640       if (flags & FH_WANT_LIST)
1641         g = string_append_listele_n(g, ':', s, (unsigned)inc);
1642       else if (flags & FH_WANT_RAW)
1643         {
1644         g = string_catn(g, s, (unsigned)inc);
1645         (void) string_from_gstring(g);
1646         }
1647       else if (inc > 0)
1648         if (comma)
1649           g = string_append2_listele_n(g, US",\n", s, (unsigned)inc);
1650         else
1651           g = string_append2_listele_n(g, US"\n", s, (unsigned)inc);
1652
1653       if (g && g->ptr >= header_insert_maxlen) break;
1654       }
1655
1656 if (!found) return NULL;        /* No header found */
1657 if (!g) return US"";
1658
1659 /* That's all we do for raw header expansion. */
1660
1661 *newsize = g->size;
1662 if (flags & FH_WANT_RAW)
1663   return g->s;
1664
1665 /* Otherwise do RFC 2047 decoding, translating the charset if requested.
1666 The rfc2047_decode2() function can return an error with decoded data if the
1667 charset translation fails. If decoding fails, it returns NULL. */
1668
1669 else
1670   {
1671   uschar *decoded, *error;
1672
1673   decoded = rfc2047_decode2(g->s, check_rfc2047_length, charset, '?', NULL,
1674     newsize, &error);
1675   if (error)
1676     {
1677     DEBUG(D_any) debug_printf("*** error in RFC 2047 decoding: %s\n"
1678       "    input was: %s\n", error, g->s);
1679     }
1680   return decoded ? decoded : g->s;
1681   }
1682 }
1683
1684
1685
1686
1687 /* Append a "local" element to an Authentication-Results: header
1688 if this was a non-smtp message.
1689 */
1690
1691 static gstring *
1692 authres_local(gstring * g, const uschar * sysname)
1693 {
1694 if (!f.authentication_local)
1695   return g;
1696 g = string_append(g, 3, US";\n\tlocal=pass (non-smtp, ", sysname, US")");
1697 if (authenticated_id) g = string_append(g, 2, " u=", authenticated_id);
1698 return g;
1699 }
1700
1701
1702 /* Append an "iprev" element to an Authentication-Results: header
1703 if we have attempted to get the calling host's name.
1704 */
1705
1706 static gstring *
1707 authres_iprev(gstring * g)
1708 {
1709 if (sender_host_name)
1710   g = string_append(g, 3, US";\n\tiprev=pass (", sender_host_name, US")");
1711 else if (host_lookup_deferred)
1712   g = string_catn(g, US";\n\tiprev=temperror", 19);
1713 else if (host_lookup_failed)
1714   g = string_catn(g, US";\n\tiprev=fail", 13);
1715 else
1716   return g;
1717
1718 if (sender_host_address)
1719   g = string_append(g, 2, US" smtp.remote-ip=", sender_host_address);
1720 return g;
1721 }
1722
1723
1724
1725 /*************************************************
1726 *               Return list of recipients        *
1727 *************************************************/
1728 /* A recipients list is available only during system message filtering,
1729 during ACL processing after DATA, and while expanding pipe commands
1730 generated from a system filter, but not elsewhere. */
1731
1732 static uschar *
1733 fn_recipients(void)
1734 {
1735 uschar * s;
1736 gstring * g = NULL;
1737
1738 if (!f.enable_dollar_recipients) return NULL;
1739
1740 for (int i = 0; i < recipients_count; i++)
1741   {
1742   s = recipients_list[i].address;
1743   g = string_append2_listele_n(g, US", ", s, Ustrlen(s));
1744   }
1745 return g ? g->s : NULL;
1746 }
1747
1748
1749 /*************************************************
1750 *               Find value of a variable         *
1751 *************************************************/
1752
1753 /* The table of variables is kept in alphabetic order, so we can search it
1754 using a binary chop. The "choplen" variable is nothing to do with the binary
1755 chop.
1756
1757 Arguments:
1758   name          the name of the variable being sought
1759   exists_only   TRUE if this is a def: test; passed on to find_header()
1760   skipping      TRUE => skip any processing evaluation; this is not the same as
1761                   exists_only because def: may test for values that are first
1762                   evaluated here
1763   newsize       pointer to an int which is initially zero; if the answer is in
1764                 a new memory buffer, *newsize is set to its size
1765
1766 Returns:        NULL if the variable does not exist, or
1767                 a pointer to the variable's contents, or
1768                 something non-NULL if exists_only is TRUE
1769 */
1770
1771 static uschar *
1772 find_variable(uschar *name, BOOL exists_only, BOOL skipping, int *newsize)
1773 {
1774 var_entry * vp;
1775 uschar *s, *domain;
1776 uschar **ss;
1777 void * val;
1778
1779 /* Handle ACL variables, whose names are of the form acl_cxxx or acl_mxxx.
1780 Originally, xxx had to be a number in the range 0-9 (later 0-19), but from
1781 release 4.64 onwards arbitrary names are permitted, as long as the first 5
1782 characters are acl_c or acl_m and the sixth is either a digit or an underscore
1783 (this gave backwards compatibility at the changeover). There may be built-in
1784 variables whose names start acl_ but they should never start in this way. This
1785 slightly messy specification is a consequence of the history, needless to say.
1786
1787 If an ACL variable does not exist, treat it as empty, unless strict_acl_vars is
1788 set, in which case give an error. */
1789
1790 if ((Ustrncmp(name, "acl_c", 5) == 0 || Ustrncmp(name, "acl_m", 5) == 0) &&
1791      !isalpha(name[5]))
1792   {
1793   tree_node * node =
1794     tree_search(name[4] == 'c' ? acl_var_c : acl_var_m, name + 4);
1795   return node ? node->data.ptr : strict_acl_vars ? NULL : US"";
1796   }
1797 else if (Ustrncmp(name, "r_", 2) == 0)
1798   {
1799   tree_node * node = tree_search(router_var, name + 2);
1800   return node ? node->data.ptr : strict_acl_vars ? NULL : US"";
1801   }
1802
1803 /* Handle $auth<n> variables. */
1804
1805 if (Ustrncmp(name, "auth", 4) == 0)
1806   {
1807   uschar *endptr;
1808   int n = Ustrtoul(name + 4, &endptr, 10);
1809   if (*endptr == 0 && n != 0 && n <= AUTH_VARS)
1810     return !auth_vars[n-1] ? US"" : auth_vars[n-1];
1811   }
1812 else if (Ustrncmp(name, "regex", 5) == 0)
1813   {
1814   uschar *endptr;
1815   int n = Ustrtoul(name + 5, &endptr, 10);
1816   if (*endptr == 0 && n != 0 && n <= REGEX_VARS)
1817     return !regex_vars[n-1] ? US"" : regex_vars[n-1];
1818   }
1819
1820 /* For all other variables, search the table */
1821
1822 if (!(vp = find_var_ent(name)))
1823   return NULL;          /* Unknown variable name */
1824
1825 /* Found an existing variable. If in skipping state, the value isn't needed,
1826 and we want to avoid processing (such as looking up the host name). */
1827
1828 if (skipping)
1829   return US"";
1830
1831 val = vp->value;
1832 switch (vp->type)
1833   {
1834   case vtype_filter_int:
1835     if (!f.filter_running) return NULL;
1836     /* Fall through */
1837     /* VVVVVVVVVVVV */
1838   case vtype_int:
1839     sprintf(CS var_buffer, "%d", *(int *)(val)); /* Integer */
1840     return var_buffer;
1841
1842   case vtype_ino:
1843     sprintf(CS var_buffer, "%ld", (long int)(*(ino_t *)(val))); /* Inode */
1844     return var_buffer;
1845
1846   case vtype_gid:
1847     sprintf(CS var_buffer, "%ld", (long int)(*(gid_t *)(val))); /* gid */
1848     return var_buffer;
1849
1850   case vtype_uid:
1851     sprintf(CS var_buffer, "%ld", (long int)(*(uid_t *)(val))); /* uid */
1852     return var_buffer;
1853
1854   case vtype_bool:
1855     sprintf(CS var_buffer, "%s", *(BOOL *)(val) ? "yes" : "no"); /* bool */
1856     return var_buffer;
1857
1858   case vtype_stringptr:                      /* Pointer to string */
1859     return (s = *((uschar **)(val))) ? s : US"";
1860
1861   case vtype_pid:
1862     sprintf(CS var_buffer, "%d", (int)getpid()); /* pid */
1863     return var_buffer;
1864
1865   case vtype_load_avg:
1866     sprintf(CS var_buffer, "%d", OS_GETLOADAVG()); /* load_average */
1867     return var_buffer;
1868
1869   case vtype_host_lookup:                    /* Lookup if not done so */
1870     if (  !sender_host_name && sender_host_address
1871        && !host_lookup_failed && host_name_lookup() == OK)
1872       host_build_sender_fullhost();
1873     return sender_host_name ? sender_host_name : US"";
1874
1875   case vtype_localpart:                      /* Get local part from address */
1876     if (!(s = *((uschar **)(val)))) return US"";
1877     if (!(domain = Ustrrchr(s, '@'))) return s;
1878     if (domain - s > sizeof(var_buffer) - 1)
1879       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "local part longer than " SIZE_T_FMT
1880           " in string expansion", sizeof(var_buffer));
1881     return string_copyn(s, domain - s);
1882
1883   case vtype_domain:                         /* Get domain from address */
1884     if (!(s = *((uschar **)(val)))) return US"";
1885     domain = Ustrrchr(s, '@');
1886     return domain ? domain + 1 : US"";
1887
1888   case vtype_msgheaders:
1889     return find_header(NULL, newsize, exists_only ? FH_EXISTS_ONLY : 0, NULL);
1890
1891   case vtype_msgheaders_raw:
1892     return find_header(NULL, newsize,
1893                 exists_only ? FH_EXISTS_ONLY|FH_WANT_RAW : FH_WANT_RAW, NULL);
1894
1895   case vtype_msgbody:                        /* Pointer to msgbody string */
1896   case vtype_msgbody_end:                    /* Ditto, the end of the msg */
1897     ss = (uschar **)(val);
1898     if (!*ss && deliver_datafile >= 0)  /* Read body when needed */
1899       {
1900       uschar *body;
1901       off_t start_offset = SPOOL_DATA_START_OFFSET;
1902       int len = message_body_visible;
1903       if (len > message_size) len = message_size;
1904       *ss = body = store_malloc(len+1);
1905       body[0] = 0;
1906       if (vp->type == vtype_msgbody_end)
1907         {
1908         struct stat statbuf;
1909         if (fstat(deliver_datafile, &statbuf) == 0)
1910           {
1911           start_offset = statbuf.st_size - len;
1912           if (start_offset < SPOOL_DATA_START_OFFSET)
1913             start_offset = SPOOL_DATA_START_OFFSET;
1914           }
1915         }
1916       if (lseek(deliver_datafile, start_offset, SEEK_SET) < 0)
1917         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "deliver_datafile lseek: %s",
1918           strerror(errno));
1919       len = read(deliver_datafile, body, len);
1920       if (len > 0)
1921         {
1922         body[len] = 0;
1923         if (message_body_newlines)   /* Separate loops for efficiency */
1924           while (len > 0)
1925             { if (body[--len] == 0) body[len] = ' '; }
1926         else
1927           while (len > 0)
1928             { if (body[--len] == '\n' || body[len] == 0) body[len] = ' '; }
1929         }
1930       }
1931     return *ss ? *ss : US"";
1932
1933   case vtype_todbsdin:                       /* BSD inbox time of day */
1934     return tod_stamp(tod_bsdin);
1935
1936   case vtype_tode:                           /* Unix epoch time of day */
1937     return tod_stamp(tod_epoch);
1938
1939   case vtype_todel:                          /* Unix epoch/usec time of day */
1940     return tod_stamp(tod_epoch_l);
1941
1942   case vtype_todf:                           /* Full time of day */
1943     return tod_stamp(tod_full);
1944
1945   case vtype_todl:                           /* Log format time of day */
1946     return tod_stamp(tod_log_bare);            /* (without timezone) */
1947
1948   case vtype_todzone:                        /* Time zone offset only */
1949     return tod_stamp(tod_zone);
1950
1951   case vtype_todzulu:                        /* Zulu time */
1952     return tod_stamp(tod_zulu);
1953
1954   case vtype_todlf:                          /* Log file datestamp tod */
1955     return tod_stamp(tod_log_datestamp_daily);
1956
1957   case vtype_reply:                          /* Get reply address */
1958     s = find_header(US"reply-to:", newsize,
1959                 exists_only ? FH_EXISTS_ONLY|FH_WANT_RAW : FH_WANT_RAW,
1960                 headers_charset);
1961     if (s) while (isspace(*s)) s++;
1962     if (!s || !*s)
1963       {
1964       *newsize = 0;                            /* For the *s==0 case */
1965       s = find_header(US"from:", newsize,
1966                 exists_only ? FH_EXISTS_ONLY|FH_WANT_RAW : FH_WANT_RAW,
1967                 headers_charset);
1968       }
1969     if (s)
1970       {
1971       uschar *t;
1972       while (isspace(*s)) s++;
1973       for (t = s; *t != 0; t++) if (*t == '\n') *t = ' ';
1974       while (t > s && isspace(t[-1])) t--;
1975       *t = 0;
1976       }
1977     return s ? s : US"";
1978
1979   case vtype_string_func:
1980     {
1981     stringptr_fn_t * fn = (stringptr_fn_t *) val;
1982     return fn();
1983     }
1984
1985   case vtype_pspace:
1986     {
1987     int inodes;
1988     sprintf(CS var_buffer, PR_EXIM_ARITH,
1989       receive_statvfs(val == (void *)TRUE, &inodes));
1990     }
1991   return var_buffer;
1992
1993   case vtype_pinodes:
1994     {
1995     int inodes;
1996     (void) receive_statvfs(val == (void *)TRUE, &inodes);
1997     sprintf(CS var_buffer, "%d", inodes);
1998     }
1999   return var_buffer;
2000
2001   case vtype_cert:
2002     return *(void **)val ? US"<cert>" : US"";
2003
2004 #ifndef DISABLE_DKIM
2005   case vtype_dkim:
2006     return dkim_exim_expand_query((int)(long)val);
2007 #endif
2008
2009   }
2010
2011 return NULL;  /* Unknown variable. Silences static checkers. */
2012 }
2013
2014
2015
2016
2017 void
2018 modify_variable(uschar *name, void * value)
2019 {
2020 var_entry * vp;
2021 if ((vp = find_var_ent(name))) vp->value = value;
2022 return;          /* Unknown variable name, fail silently */
2023 }
2024
2025
2026
2027
2028
2029
2030 /*************************************************
2031 *           Read and expand substrings           *
2032 *************************************************/
2033
2034 /* This function is called to read and expand argument substrings for various
2035 expansion items. Some have a minimum requirement that is less than the maximum;
2036 in these cases, the first non-present one is set to NULL.
2037
2038 Arguments:
2039   sub        points to vector of pointers to set
2040   n          maximum number of substrings
2041   m          minimum required
2042   sptr       points to current string pointer
2043   skipping   the skipping flag
2044   check_end  if TRUE, check for final '}'
2045   name       name of item, for error message
2046   resetok    if not NULL, pointer to flag - write FALSE if unsafe to reset
2047              the store.
2048
2049 Returns:     0 OK; string pointer updated
2050              1 curly bracketing error (too few arguments)
2051              2 too many arguments (only if check_end is set); message set
2052              3 other error (expansion failure)
2053 */
2054
2055 static int
2056 read_subs(uschar **sub, int n, int m, const uschar **sptr, BOOL skipping,
2057   BOOL check_end, uschar *name, BOOL *resetok)
2058 {
2059 const uschar *s = *sptr;
2060
2061 while (isspace(*s)) s++;
2062 for (int i = 0; i < n; i++)
2063   {
2064   if (*s != '{')
2065     {
2066     if (i < m)
2067       {
2068       expand_string_message = string_sprintf("Not enough arguments for '%s' "
2069         "(min is %d)", name, m);
2070       return 1;
2071       }
2072     sub[i] = NULL;
2073     break;
2074     }
2075   if (!(sub[i] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, resetok)))
2076     return 3;
2077   if (*s++ != '}') return 1;
2078   while (isspace(*s)) s++;
2079   }
2080 if (check_end && *s++ != '}')
2081   {
2082   if (s[-1] == '{')
2083     {
2084     expand_string_message = string_sprintf("Too many arguments for '%s' "
2085       "(max is %d)", name, n);
2086     return 2;
2087     }
2088   expand_string_message = string_sprintf("missing '}' after '%s'", name);
2089   return 1;
2090   }
2091
2092 *sptr = s;
2093 return 0;
2094 }
2095
2096
2097
2098
2099 /*************************************************
2100 *     Elaborate message for bad variable         *
2101 *************************************************/
2102
2103 /* For the "unknown variable" message, take a look at the variable's name, and
2104 give additional information about possible ACL variables. The extra information
2105 is added on to expand_string_message.
2106
2107 Argument:   the name of the variable
2108 Returns:    nothing
2109 */
2110
2111 static void
2112 check_variable_error_message(uschar *name)
2113 {
2114 if (Ustrncmp(name, "acl_", 4) == 0)
2115   expand_string_message = string_sprintf("%s (%s)", expand_string_message,
2116     (name[4] == 'c' || name[4] == 'm')?
2117       (isalpha(name[5])?
2118         US"6th character of a user-defined ACL variable must be a digit or underscore" :
2119         US"strict_acl_vars is set"    /* Syntax is OK, it has to be this */
2120       ) :
2121       US"user-defined ACL variables must start acl_c or acl_m");
2122 }
2123
2124
2125
2126 /*
2127 Load args from sub array to globals, and call acl_check().
2128 Sub array will be corrupted on return.
2129
2130 Returns:       OK         access is granted by an ACCEPT verb
2131                DISCARD    access is (apparently) granted by a DISCARD verb
2132                FAIL       access is denied
2133                FAIL_DROP  access is denied; drop the connection
2134                DEFER      can't tell at the moment
2135                ERROR      disaster
2136 */
2137 static int
2138 eval_acl(uschar ** sub, int nsub, uschar ** user_msgp)
2139 {
2140 int i;
2141 int sav_narg = acl_narg;
2142 int ret;
2143 uschar * dummy_logmsg;
2144 extern int acl_where;
2145
2146 if(--nsub > nelem(acl_arg)) nsub = nelem(acl_arg);
2147 for (i = 0; i < nsub && sub[i+1]; i++)
2148   {
2149   uschar * tmp = acl_arg[i];
2150   acl_arg[i] = sub[i+1];        /* place callers args in the globals */
2151   sub[i+1] = tmp;               /* stash the old args using our caller's storage */
2152   }
2153 acl_narg = i;
2154 while (i < nsub)
2155   {
2156   sub[i+1] = acl_arg[i];
2157   acl_arg[i++] = NULL;
2158   }
2159
2160 DEBUG(D_expand)
2161   debug_printf_indent("expanding: acl: %s  arg: %s%s\n",
2162     sub[0],
2163     acl_narg>0 ? acl_arg[0] : US"<none>",
2164     acl_narg>1 ? " +more"   : "");
2165
2166 ret = acl_eval(acl_where, sub[0], user_msgp, &dummy_logmsg);
2167
2168 for (i = 0; i < nsub; i++)
2169   acl_arg[i] = sub[i+1];        /* restore old args */
2170 acl_narg = sav_narg;
2171
2172 return ret;
2173 }
2174
2175
2176
2177
2178 /* Return pointer to dewrapped string, with enclosing specified chars removed.
2179 The given string is modified on return.  Leading whitespace is skipped while
2180 looking for the opening wrap character, then the rest is scanned for the trailing
2181 (non-escaped) wrap character.  A backslash in the string will act as an escape.
2182
2183 A nul is written over the trailing wrap, and a pointer to the char after the
2184 leading wrap is returned.
2185
2186 Arguments:
2187   s     String for de-wrapping
2188   wrap  Two-char string, the first being the opener, second the closer wrapping
2189         character
2190 Return:
2191   Pointer to de-wrapped string, or NULL on error (with expand_string_message set).
2192 */
2193
2194 static uschar *
2195 dewrap(uschar * s, const uschar * wrap)
2196 {
2197 uschar * p = s;
2198 unsigned depth = 0;
2199 BOOL quotesmode = wrap[0] == wrap[1];
2200
2201 while (isspace(*p)) p++;
2202
2203 if (*p == *wrap)
2204   {
2205   s = ++p;
2206   wrap++;
2207   while (*p)
2208     {
2209     if (*p == '\\') p++;
2210     else if (!quotesmode && *p == wrap[-1]) depth++;
2211     else if (*p == *wrap)
2212       if (depth == 0)
2213         {
2214         *p = '\0';
2215         return s;
2216         }
2217       else
2218         depth--;
2219     p++;
2220     }
2221   }
2222 expand_string_message = string_sprintf("missing '%c'", *wrap);
2223 return NULL;
2224 }
2225
2226
2227 /* Pull off the leading array or object element, returning
2228 a copy in an allocated string.  Update the list pointer.
2229
2230 The element may itself be an abject or array.
2231 Return NULL when the list is empty.
2232 */
2233
2234 static uschar *
2235 json_nextinlist(const uschar ** list)
2236 {
2237 unsigned array_depth = 0, object_depth = 0;
2238 const uschar * s = *list, * item;
2239
2240 while (isspace(*s)) s++;
2241
2242 for (item = s;
2243      *s && (*s != ',' || array_depth != 0 || object_depth != 0);
2244      s++)
2245   switch (*s)
2246     {
2247     case '[': array_depth++; break;
2248     case ']': array_depth--; break;
2249     case '{': object_depth++; break;
2250     case '}': object_depth--; break;
2251     }
2252 *list = *s ? s+1 : s;
2253 if (item == s) return NULL;
2254 item = string_copyn(item, s - item);
2255 DEBUG(D_expand) debug_printf_indent("  json ele: '%s'\n", item);
2256 return US item;
2257 }
2258
2259
2260
2261 /************************************************/
2262 /*  Return offset in ops table, or -1 if not found.
2263 Repoint to just after the operator in the string.
2264
2265 Argument:
2266  ss     string representation of operator
2267  opname split-out operator name
2268 */
2269
2270 static int
2271 identify_operator(const uschar ** ss, uschar ** opname)
2272 {
2273 const uschar * s = *ss;
2274 uschar name[256];
2275
2276 /* Numeric comparisons are symbolic */
2277
2278 if (*s == '=' || *s == '>' || *s == '<')
2279   {
2280   int p = 0;
2281   name[p++] = *s++;
2282   if (*s == '=')
2283     {
2284     name[p++] = '=';
2285     s++;
2286     }
2287   name[p] = 0;
2288   }
2289
2290 /* All other conditions are named */
2291
2292 else
2293   s = read_name(name, sizeof(name), s, US"_");
2294 *ss = s;
2295
2296 /* If we haven't read a name, it means some non-alpha character is first. */
2297
2298 if (!name[0])
2299   {
2300   expand_string_message = string_sprintf("condition name expected, "
2301     "but found \"%.16s\"", s);
2302   return -1;
2303   }
2304 if (opname)
2305   *opname = string_copy(name);
2306
2307 return chop_match(name, cond_table, nelem(cond_table));
2308 }
2309
2310
2311 /*************************************************
2312 *    Handle MD5 or SHA-1 computation for HMAC    *
2313 *************************************************/
2314
2315 /* These are some wrapping functions that enable the HMAC code to be a bit
2316 cleaner. A good compiler will spot the tail recursion.
2317
2318 Arguments:
2319   type         HMAC_MD5 or HMAC_SHA1
2320   remaining    are as for the cryptographic hash functions
2321
2322 Returns:       nothing
2323 */
2324
2325 static void
2326 chash_start(int type, void * base)
2327 {
2328 if (type == HMAC_MD5)
2329   md5_start((md5 *)base);
2330 else
2331   sha1_start((hctx *)base);
2332 }
2333
2334 static void
2335 chash_mid(int type, void * base, const uschar * string)
2336 {
2337 if (type == HMAC_MD5)
2338   md5_mid((md5 *)base, string);
2339 else
2340   sha1_mid((hctx *)base, string);
2341 }
2342
2343 static void
2344 chash_end(int type, void * base, const uschar * string, int length,
2345   uschar * digest)
2346 {
2347 if (type == HMAC_MD5)
2348   md5_end((md5 *)base, string, length, digest);
2349 else
2350   sha1_end((hctx *)base, string, length, digest);
2351 }
2352
2353
2354
2355
2356 /* Do an hmac_md5.  The result is _not_ nul-terminated, and is sized as
2357 the smaller of a full hmac_md5 result (16 bytes) or the supplied output buffer.
2358
2359 Arguments:
2360         key     encoding key, nul-terminated
2361         src     data to be hashed, nul-terminated
2362         buf     output buffer
2363         len     size of output buffer
2364 */
2365
2366 static void
2367 hmac_md5(const uschar * key, const uschar * src, uschar * buf, unsigned len)
2368 {
2369 md5 md5_base;
2370 const uschar * keyptr;
2371 uschar * p;
2372 unsigned int keylen;
2373
2374 #define MD5_HASHLEN      16
2375 #define MD5_HASHBLOCKLEN 64
2376
2377 uschar keyhash[MD5_HASHLEN];
2378 uschar innerhash[MD5_HASHLEN];
2379 uschar finalhash[MD5_HASHLEN];
2380 uschar innerkey[MD5_HASHBLOCKLEN];
2381 uschar outerkey[MD5_HASHBLOCKLEN];
2382
2383 keyptr = key;
2384 keylen = Ustrlen(keyptr);
2385
2386 /* If the key is longer than the hash block length, then hash the key
2387 first */
2388
2389 if (keylen > MD5_HASHBLOCKLEN)
2390   {
2391   chash_start(HMAC_MD5, &md5_base);
2392   chash_end(HMAC_MD5, &md5_base, keyptr, keylen, keyhash);
2393   keyptr = keyhash;
2394   keylen = MD5_HASHLEN;
2395   }
2396
2397 /* Now make the inner and outer key values */
2398
2399 memset(innerkey, 0x36, MD5_HASHBLOCKLEN);
2400 memset(outerkey, 0x5c, MD5_HASHBLOCKLEN);
2401
2402 for (int i = 0; i < keylen; i++)
2403   {
2404   innerkey[i] ^= keyptr[i];
2405   outerkey[i] ^= keyptr[i];
2406   }
2407
2408 /* Now do the hashes */
2409
2410 chash_start(HMAC_MD5, &md5_base);
2411 chash_mid(HMAC_MD5, &md5_base, innerkey);
2412 chash_end(HMAC_MD5, &md5_base, src, Ustrlen(src), innerhash);
2413
2414 chash_start(HMAC_MD5, &md5_base);
2415 chash_mid(HMAC_MD5, &md5_base, outerkey);
2416 chash_end(HMAC_MD5, &md5_base, innerhash, MD5_HASHLEN, finalhash);
2417
2418 /* Encode the final hash as a hex string, limited by output buffer size */
2419
2420 p = buf;
2421 for (int i = 0, j = len; i < MD5_HASHLEN; i++)
2422   {
2423   if (j-- <= 0) break;
2424   *p++ = hex_digits[(finalhash[i] & 0xf0) >> 4];
2425   if (j-- <= 0) break;
2426   *p++ = hex_digits[finalhash[i] & 0x0f];
2427   }
2428 return;
2429 }
2430
2431
2432 /*************************************************
2433 *        Read and evaluate a condition           *
2434 *************************************************/
2435
2436 /*
2437 Arguments:
2438   s        points to the start of the condition text
2439   resetok  points to a BOOL which is written false if it is unsafe to
2440            free memory. Certain condition types (acl) may have side-effect
2441            allocation which must be preserved.
2442   yield    points to a BOOL to hold the result of the condition test;
2443            if NULL, we are just reading through a condition that is
2444            part of an "or" combination to check syntax, or in a state
2445            where the answer isn't required
2446
2447 Returns:   a pointer to the first character after the condition, or
2448            NULL after an error
2449 */
2450
2451 static const uschar *
2452 eval_condition(const uschar *s, BOOL *resetok, BOOL *yield)
2453 {
2454 BOOL testfor = TRUE;
2455 BOOL tempcond, combined_cond;
2456 BOOL *subcondptr;
2457 BOOL sub2_honour_dollar = TRUE;
2458 BOOL is_forany, is_json, is_jsons;
2459 int rc, cond_type, roffset;
2460 int_eximarith_t num[2];
2461 struct stat statbuf;
2462 uschar * opname;
2463 uschar name[256];
2464 const uschar *sub[10];
2465
2466 const pcre *re;
2467 const uschar *rerror;
2468
2469 for (;;)
2470   {
2471   while (isspace(*s)) s++;
2472   if (*s == '!') { testfor = !testfor; s++; } else break;
2473   }
2474
2475 switch(cond_type = identify_operator(&s, &opname))
2476   {
2477   /* def: tests for a non-empty variable, or for the existence of a header. If
2478   yield == NULL we are in a skipping state, and don't care about the answer. */
2479
2480   case ECOND_DEF:
2481     {
2482     uschar * t;
2483
2484     if (*s != ':')
2485       {
2486       expand_string_message = US"\":\" expected after \"def\"";
2487       return NULL;
2488       }
2489
2490     s = read_name(name, sizeof(name), s+1, US"_");
2491
2492     /* Test for a header's existence. If the name contains a closing brace
2493     character, this may be a user error where the terminating colon has been
2494     omitted. Set a flag to adjust a subsequent error message in this case. */
2495
2496     if (  ( *(t = name) == 'h'
2497           || (*t == 'r' || *t == 'l' || *t == 'b') && *++t == 'h'
2498           )
2499        && (*++t == '_' || Ustrncmp(t, "eader_", 6) == 0)
2500        )
2501       {
2502       s = read_header_name(name, sizeof(name), s);
2503       /* {-for-text-editors */
2504       if (Ustrchr(name, '}') != NULL) malformed_header = TRUE;
2505       if (yield) *yield =
2506         (find_header(name, NULL, FH_EXISTS_ONLY, NULL) != NULL) == testfor;
2507       }
2508
2509     /* Test for a variable's having a non-empty value. A non-existent variable
2510     causes an expansion failure. */
2511
2512     else
2513       {
2514       if (!(t = find_variable(name, TRUE, yield == NULL, NULL)))
2515         {
2516         expand_string_message = name[0]
2517           ? string_sprintf("unknown variable \"%s\" after \"def:\"", name)
2518           : US"variable name omitted after \"def:\"";
2519         check_variable_error_message(name);
2520         return NULL;
2521         }
2522       if (yield) *yield = (t[0] != 0) == testfor;
2523       }
2524
2525     return s;
2526     }
2527
2528
2529   /* first_delivery tests for first delivery attempt */
2530
2531   case ECOND_FIRST_DELIVERY:
2532   if (yield) *yield = f.deliver_firsttime == testfor;
2533   return s;
2534
2535
2536   /* queue_running tests for any process started by a queue runner */
2537
2538   case ECOND_QUEUE_RUNNING:
2539   if (yield) *yield = (queue_run_pid != (pid_t)0) == testfor;
2540   return s;
2541
2542
2543   /* exists:  tests for file existence
2544        isip:  tests for any IP address
2545       isip4:  tests for an IPv4 address
2546       isip6:  tests for an IPv6 address
2547         pam:  does PAM authentication
2548      radius:  does RADIUS authentication
2549    ldapauth:  does LDAP authentication
2550     pwcheck:  does Cyrus SASL pwcheck authentication
2551   */
2552
2553   case ECOND_EXISTS:
2554   case ECOND_ISIP:
2555   case ECOND_ISIP4:
2556   case ECOND_ISIP6:
2557   case ECOND_PAM:
2558   case ECOND_RADIUS:
2559   case ECOND_LDAPAUTH:
2560   case ECOND_PWCHECK:
2561
2562   while (isspace(*s)) s++;
2563   if (*s != '{') goto COND_FAILED_CURLY_START;          /* }-for-text-editors */
2564
2565   sub[0] = expand_string_internal(s+1, TRUE, &s, yield == NULL, TRUE, resetok);
2566   if (!sub[0]) return NULL;
2567   /* {-for-text-editors */
2568   if (*s++ != '}') goto COND_FAILED_CURLY_END;
2569
2570   if (!yield) return s;   /* No need to run the test if skipping */
2571
2572   switch(cond_type)
2573     {
2574     case ECOND_EXISTS:
2575     if ((expand_forbid & RDO_EXISTS) != 0)
2576       {
2577       expand_string_message = US"File existence tests are not permitted";
2578       return NULL;
2579       }
2580     *yield = (Ustat(sub[0], &statbuf) == 0) == testfor;
2581     break;
2582
2583     case ECOND_ISIP:
2584     case ECOND_ISIP4:
2585     case ECOND_ISIP6:
2586     rc = string_is_ip_address(sub[0], NULL);
2587     *yield = ((cond_type == ECOND_ISIP)? (rc != 0) :
2588              (cond_type == ECOND_ISIP4)? (rc == 4) : (rc == 6)) == testfor;
2589     break;
2590
2591     /* Various authentication tests - all optionally compiled */
2592
2593     case ECOND_PAM:
2594     #ifdef SUPPORT_PAM
2595     rc = auth_call_pam(sub[0], &expand_string_message);
2596     goto END_AUTH;
2597     #else
2598     goto COND_FAILED_NOT_COMPILED;
2599     #endif  /* SUPPORT_PAM */
2600
2601     case ECOND_RADIUS:
2602     #ifdef RADIUS_CONFIG_FILE
2603     rc = auth_call_radius(sub[0], &expand_string_message);
2604     goto END_AUTH;
2605     #else
2606     goto COND_FAILED_NOT_COMPILED;
2607     #endif  /* RADIUS_CONFIG_FILE */
2608
2609     case ECOND_LDAPAUTH:
2610     #ifdef LOOKUP_LDAP
2611       {
2612       /* Just to keep the interface the same */
2613       BOOL do_cache;
2614       int old_pool = store_pool;
2615       store_pool = POOL_SEARCH;
2616       rc = eldapauth_find((void *)(-1), NULL, sub[0], Ustrlen(sub[0]), NULL,
2617         &expand_string_message, &do_cache);
2618       store_pool = old_pool;
2619       }
2620     goto END_AUTH;
2621     #else
2622     goto COND_FAILED_NOT_COMPILED;
2623     #endif  /* LOOKUP_LDAP */
2624
2625     case ECOND_PWCHECK:
2626     #ifdef CYRUS_PWCHECK_SOCKET
2627     rc = auth_call_pwcheck(sub[0], &expand_string_message);
2628     goto END_AUTH;
2629     #else
2630     goto COND_FAILED_NOT_COMPILED;
2631     #endif  /* CYRUS_PWCHECK_SOCKET */
2632
2633     #if defined(SUPPORT_PAM) || defined(RADIUS_CONFIG_FILE) || \
2634         defined(LOOKUP_LDAP) || defined(CYRUS_PWCHECK_SOCKET)
2635     END_AUTH:
2636     if (rc == ERROR || rc == DEFER) return NULL;
2637     *yield = (rc == OK) == testfor;
2638     #endif
2639     }
2640   return s;
2641
2642
2643   /* call ACL (in a conditional context).  Accept true, deny false.
2644   Defer is a forced-fail.  Anything set by message= goes to $value.
2645   Up to ten parameters are used; we use the braces round the name+args
2646   like the saslauthd condition does, to permit a variable number of args.
2647   See also the expansion-item version EITEM_ACL and the traditional
2648   acl modifier ACLC_ACL.
2649   Since the ACL may allocate new global variables, tell our caller to not
2650   reclaim memory.
2651   */
2652
2653   case ECOND_ACL:
2654     /* ${if acl {{name}{arg1}{arg2}...}  {yes}{no}} */
2655     {
2656     uschar *sub[10];
2657     uschar *user_msg;
2658     BOOL cond = FALSE;
2659
2660     while (isspace(*s)) s++;
2661     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /*}*/
2662
2663     switch(read_subs(sub, nelem(sub), 1,
2664       &s, yield == NULL, TRUE, US"acl", resetok))
2665       {
2666       case 1: expand_string_message = US"too few arguments or bracketing "
2667         "error for acl";
2668       case 2:
2669       case 3: return NULL;
2670       }
2671
2672     if (yield)
2673       {
2674       int rc;
2675       *resetok = FALSE; /* eval_acl() might allocate; do not reclaim */
2676       switch(rc = eval_acl(sub, nelem(sub), &user_msg))
2677         {
2678         case OK:
2679           cond = TRUE;
2680         case FAIL:
2681           lookup_value = NULL;
2682           if (user_msg)
2683             lookup_value = string_copy(user_msg);
2684           *yield = cond == testfor;
2685           break;
2686
2687         case DEFER:
2688           f.expand_string_forcedfail = TRUE;
2689           /*FALLTHROUGH*/
2690         default:
2691           expand_string_message = string_sprintf("%s from acl \"%s\"",
2692             rc_names[rc], sub[0]);
2693           return NULL;
2694         }
2695       }
2696     return s;
2697     }
2698
2699
2700   /* saslauthd: does Cyrus saslauthd authentication. Four parameters are used:
2701
2702      ${if saslauthd {{username}{password}{service}{realm}}  {yes}{no}}
2703
2704   However, the last two are optional. That is why the whole set is enclosed
2705   in their own set of braces. */
2706
2707   case ECOND_SASLAUTHD:
2708 #ifndef CYRUS_SASLAUTHD_SOCKET
2709     goto COND_FAILED_NOT_COMPILED;
2710 #else
2711     {
2712     uschar *sub[4];
2713     while (isspace(*s)) s++;
2714     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /* }-for-text-editors */
2715     switch(read_subs(sub, nelem(sub), 2, &s, yield == NULL, TRUE, US"saslauthd",
2716                     resetok))
2717       {
2718       case 1: expand_string_message = US"too few arguments or bracketing "
2719         "error for saslauthd";
2720       case 2:
2721       case 3: return NULL;
2722       }
2723     if (!sub[2]) sub[3] = NULL;  /* realm if no service */
2724     if (yield)
2725       {
2726       int rc = auth_call_saslauthd(sub[0], sub[1], sub[2], sub[3],
2727         &expand_string_message);
2728       if (rc == ERROR || rc == DEFER) return NULL;
2729       *yield = (rc == OK) == testfor;
2730       }
2731     return s;
2732     }
2733 #endif /* CYRUS_SASLAUTHD_SOCKET */
2734
2735
2736   /* symbolic operators for numeric and string comparison, and a number of
2737   other operators, all requiring two arguments.
2738
2739   crypteq:           encrypts plaintext and compares against an encrypted text,
2740                        using crypt(), crypt16(), MD5 or SHA-1
2741   inlist/inlisti:    checks if first argument is in the list of the second
2742   match:             does a regular expression match and sets up the numerical
2743                        variables if it succeeds
2744   match_address:     matches in an address list
2745   match_domain:      matches in a domain list
2746   match_ip:          matches a host list that is restricted to IP addresses
2747   match_local_part:  matches in a local part list
2748   */
2749
2750   case ECOND_MATCH_ADDRESS:
2751   case ECOND_MATCH_DOMAIN:
2752   case ECOND_MATCH_IP:
2753   case ECOND_MATCH_LOCAL_PART:
2754 #ifndef EXPAND_LISTMATCH_RHS
2755     sub2_honour_dollar = FALSE;
2756 #endif
2757     /* FALLTHROUGH */
2758
2759   case ECOND_CRYPTEQ:
2760   case ECOND_INLIST:
2761   case ECOND_INLISTI:
2762   case ECOND_MATCH:
2763
2764   case ECOND_NUM_L:     /* Numerical comparisons */
2765   case ECOND_NUM_LE:
2766   case ECOND_NUM_E:
2767   case ECOND_NUM_EE:
2768   case ECOND_NUM_G:
2769   case ECOND_NUM_GE:
2770
2771   case ECOND_STR_LT:    /* String comparisons */
2772   case ECOND_STR_LTI:
2773   case ECOND_STR_LE:
2774   case ECOND_STR_LEI:
2775   case ECOND_STR_EQ:
2776   case ECOND_STR_EQI:
2777   case ECOND_STR_GT:
2778   case ECOND_STR_GTI:
2779   case ECOND_STR_GE:
2780   case ECOND_STR_GEI:
2781
2782   for (int i = 0; i < 2; i++)
2783     {
2784     /* Sometimes, we don't expand substrings; too many insecure configurations
2785     created using match_address{}{} and friends, where the second param
2786     includes information from untrustworthy sources. */
2787     BOOL honour_dollar = TRUE;
2788     if ((i > 0) && !sub2_honour_dollar)
2789       honour_dollar = FALSE;
2790
2791     while (isspace(*s)) s++;
2792     if (*s != '{')
2793       {
2794       if (i == 0) goto COND_FAILED_CURLY_START;
2795       expand_string_message = string_sprintf("missing 2nd string in {} "
2796         "after \"%s\"", opname);
2797       return NULL;
2798       }
2799     if (!(sub[i] = expand_string_internal(s+1, TRUE, &s, yield == NULL,
2800         honour_dollar, resetok)))
2801       return NULL;
2802     DEBUG(D_expand) if (i == 1 && !sub2_honour_dollar && Ustrchr(sub[1], '$'))
2803       debug_printf_indent("WARNING: the second arg is NOT expanded,"
2804                         " for security reasons\n");
2805     if (*s++ != '}') goto COND_FAILED_CURLY_END;
2806
2807     /* Convert to numerical if required; we know that the names of all the
2808     conditions that compare numbers do not start with a letter. This just saves
2809     checking for them individually. */
2810
2811     if (!isalpha(opname[0]) && yield)
2812       if (sub[i][0] == 0)
2813         {
2814         num[i] = 0;
2815         DEBUG(D_expand)
2816           debug_printf_indent("empty string cast to zero for numerical comparison\n");
2817         }
2818       else
2819         {
2820         num[i] = expanded_string_integer(sub[i], FALSE);
2821         if (expand_string_message) return NULL;
2822         }
2823     }
2824
2825   /* Result not required */
2826
2827   if (!yield) return s;
2828
2829   /* Do an appropriate comparison */
2830
2831   switch(cond_type)
2832     {
2833     case ECOND_NUM_E:
2834     case ECOND_NUM_EE:
2835     tempcond = (num[0] == num[1]);
2836     break;
2837
2838     case ECOND_NUM_G:
2839     tempcond = (num[0] > num[1]);
2840     break;
2841
2842     case ECOND_NUM_GE:
2843     tempcond = (num[0] >= num[1]);
2844     break;
2845
2846     case ECOND_NUM_L:
2847     tempcond = (num[0] < num[1]);
2848     break;
2849
2850     case ECOND_NUM_LE:
2851     tempcond = (num[0] <= num[1]);
2852     break;
2853
2854     case ECOND_STR_LT:
2855     tempcond = (Ustrcmp(sub[0], sub[1]) < 0);
2856     break;
2857
2858     case ECOND_STR_LTI:
2859     tempcond = (strcmpic(sub[0], sub[1]) < 0);
2860     break;
2861
2862     case ECOND_STR_LE:
2863     tempcond = (Ustrcmp(sub[0], sub[1]) <= 0);
2864     break;
2865
2866     case ECOND_STR_LEI:
2867     tempcond = (strcmpic(sub[0], sub[1]) <= 0);
2868     break;
2869
2870     case ECOND_STR_EQ:
2871     tempcond = (Ustrcmp(sub[0], sub[1]) == 0);
2872     break;
2873
2874     case ECOND_STR_EQI:
2875     tempcond = (strcmpic(sub[0], sub[1]) == 0);
2876     break;
2877
2878     case ECOND_STR_GT:
2879     tempcond = (Ustrcmp(sub[0], sub[1]) > 0);
2880     break;
2881
2882     case ECOND_STR_GTI:
2883     tempcond = (strcmpic(sub[0], sub[1]) > 0);
2884     break;
2885
2886     case ECOND_STR_GE:
2887     tempcond = (Ustrcmp(sub[0], sub[1]) >= 0);
2888     break;
2889
2890     case ECOND_STR_GEI:
2891     tempcond = (strcmpic(sub[0], sub[1]) >= 0);
2892     break;
2893
2894     case ECOND_MATCH:   /* Regular expression match */
2895     if (!(re = pcre_compile(CS sub[1], PCRE_COPT, (const char **)&rerror,
2896                             &roffset, NULL)))
2897       {
2898       expand_string_message = string_sprintf("regular expression error in "
2899         "\"%s\": %s at offset %d", sub[1], rerror, roffset);
2900       return NULL;
2901       }
2902     tempcond = regex_match_and_setup(re, sub[0], 0, -1);
2903     break;
2904
2905     case ECOND_MATCH_ADDRESS:  /* Match in an address list */
2906     rc = match_address_list(sub[0], TRUE, FALSE, &(sub[1]), NULL, -1, 0, NULL);
2907     goto MATCHED_SOMETHING;
2908
2909     case ECOND_MATCH_DOMAIN:   /* Match in a domain list */
2910     rc = match_isinlist(sub[0], &(sub[1]), 0, &domainlist_anchor, NULL,
2911       MCL_DOMAIN + MCL_NOEXPAND, TRUE, NULL);
2912     goto MATCHED_SOMETHING;
2913
2914     case ECOND_MATCH_IP:       /* Match IP address in a host list */
2915     if (sub[0][0] != 0 && string_is_ip_address(sub[0], NULL) == 0)
2916       {
2917       expand_string_message = string_sprintf("\"%s\" is not an IP address",
2918         sub[0]);
2919       return NULL;
2920       }
2921     else
2922       {
2923       unsigned int *nullcache = NULL;
2924       check_host_block cb;
2925
2926       cb.host_name = US"";
2927       cb.host_address = sub[0];
2928
2929       /* If the host address starts off ::ffff: it is an IPv6 address in
2930       IPv4-compatible mode. Find the IPv4 part for checking against IPv4
2931       addresses. */
2932
2933       cb.host_ipv4 = (Ustrncmp(cb.host_address, "::ffff:", 7) == 0)?
2934         cb.host_address + 7 : cb.host_address;
2935
2936       rc = match_check_list(
2937              &sub[1],                   /* the list */
2938              0,                         /* separator character */
2939              &hostlist_anchor,          /* anchor pointer */
2940              &nullcache,                /* cache pointer */
2941              check_host,                /* function for testing */
2942              &cb,                       /* argument for function */
2943              MCL_HOST,                  /* type of check */
2944              sub[0],                    /* text for debugging */
2945              NULL);                     /* where to pass back data */
2946       }
2947     goto MATCHED_SOMETHING;
2948
2949     case ECOND_MATCH_LOCAL_PART:
2950     rc = match_isinlist(sub[0], &(sub[1]), 0, &localpartlist_anchor, NULL,
2951       MCL_LOCALPART + MCL_NOEXPAND, TRUE, NULL);
2952     /* Fall through */
2953     /* VVVVVVVVVVVV */
2954     MATCHED_SOMETHING:
2955     switch(rc)
2956       {
2957       case OK:
2958       tempcond = TRUE;
2959       break;
2960
2961       case FAIL:
2962       tempcond = FALSE;
2963       break;
2964
2965       case DEFER:
2966       expand_string_message = string_sprintf("unable to complete match "
2967         "against \"%s\": %s", sub[1], search_error_message);
2968       return NULL;
2969       }
2970
2971     break;
2972
2973     /* Various "encrypted" comparisons. If the second string starts with
2974     "{" then an encryption type is given. Default to crypt() or crypt16()
2975     (build-time choice). */
2976     /* }-for-text-editors */
2977
2978     case ECOND_CRYPTEQ:
2979     #ifndef SUPPORT_CRYPTEQ
2980     goto COND_FAILED_NOT_COMPILED;
2981     #else
2982     if (strncmpic(sub[1], US"{md5}", 5) == 0)
2983       {
2984       int sublen = Ustrlen(sub[1]+5);
2985       md5 base;
2986       uschar digest[16];
2987
2988       md5_start(&base);
2989       md5_end(&base, sub[0], Ustrlen(sub[0]), digest);
2990
2991       /* If the length that we are comparing against is 24, the MD5 digest
2992       is expressed as a base64 string. This is the way LDAP does it. However,
2993       some other software uses a straightforward hex representation. We assume
2994       this if the length is 32. Other lengths fail. */
2995
2996       if (sublen == 24)
2997         {
2998         uschar *coded = b64encode(CUS digest, 16);
2999         DEBUG(D_auth) debug_printf("crypteq: using MD5+B64 hashing\n"
3000           "  subject=%s\n  crypted=%s\n", coded, sub[1]+5);
3001         tempcond = (Ustrcmp(coded, sub[1]+5) == 0);
3002         }
3003       else if (sublen == 32)
3004         {
3005         uschar coded[36];
3006         for (int i = 0; i < 16; i++) sprintf(CS (coded+2*i), "%02X", digest[i]);
3007         coded[32] = 0;
3008         DEBUG(D_auth) debug_printf("crypteq: using MD5+hex hashing\n"
3009           "  subject=%s\n  crypted=%s\n", coded, sub[1]+5);
3010         tempcond = (strcmpic(coded, sub[1]+5) == 0);
3011         }
3012       else
3013         {
3014         DEBUG(D_auth) debug_printf("crypteq: length for MD5 not 24 or 32: "
3015           "fail\n  crypted=%s\n", sub[1]+5);
3016         tempcond = FALSE;
3017         }
3018       }
3019
3020     else if (strncmpic(sub[1], US"{sha1}", 6) == 0)
3021       {
3022       int sublen = Ustrlen(sub[1]+6);
3023       hctx h;
3024       uschar digest[20];
3025
3026       sha1_start(&h);
3027       sha1_end(&h, sub[0], Ustrlen(sub[0]), digest);
3028
3029       /* If the length that we are comparing against is 28, assume the SHA1
3030       digest is expressed as a base64 string. If the length is 40, assume a
3031       straightforward hex representation. Other lengths fail. */
3032
3033       if (sublen == 28)
3034         {
3035         uschar *coded = b64encode(CUS digest, 20);
3036         DEBUG(D_auth) debug_printf("crypteq: using SHA1+B64 hashing\n"
3037           "  subject=%s\n  crypted=%s\n", coded, sub[1]+6);
3038         tempcond = (Ustrcmp(coded, sub[1]+6) == 0);
3039         }
3040       else if (sublen == 40)
3041         {
3042         uschar coded[44];
3043         for (int i = 0; i < 20; i++) sprintf(CS (coded+2*i), "%02X", digest[i]);
3044         coded[40] = 0;
3045         DEBUG(D_auth) debug_printf("crypteq: using SHA1+hex hashing\n"
3046           "  subject=%s\n  crypted=%s\n", coded, sub[1]+6);
3047         tempcond = (strcmpic(coded, sub[1]+6) == 0);
3048         }
3049       else
3050         {
3051         DEBUG(D_auth) debug_printf("crypteq: length for SHA-1 not 28 or 40: "
3052           "fail\n  crypted=%s\n", sub[1]+6);
3053         tempcond = FALSE;
3054         }
3055       }
3056
3057     else   /* {crypt} or {crypt16} and non-{ at start */
3058            /* }-for-text-editors */
3059       {
3060       int which = 0;
3061       uschar *coded;
3062
3063       if (strncmpic(sub[1], US"{crypt}", 7) == 0)
3064         {
3065         sub[1] += 7;
3066         which = 1;
3067         }
3068       else if (strncmpic(sub[1], US"{crypt16}", 9) == 0)
3069         {
3070         sub[1] += 9;
3071         which = 2;
3072         }
3073       else if (sub[1][0] == '{')                /* }-for-text-editors */
3074         {
3075         expand_string_message = string_sprintf("unknown encryption mechanism "
3076           "in \"%s\"", sub[1]);
3077         return NULL;
3078         }
3079
3080       switch(which)
3081         {
3082         case 0:  coded = US DEFAULT_CRYPT(CS sub[0], CS sub[1]); break;
3083         case 1:  coded = US crypt(CS sub[0], CS sub[1]); break;
3084         default: coded = US crypt16(CS sub[0], CS sub[1]); break;
3085         }
3086
3087       #define STR(s) # s
3088       #define XSTR(s) STR(s)
3089       DEBUG(D_auth) debug_printf("crypteq: using %s()\n"
3090         "  subject=%s\n  crypted=%s\n",
3091         which == 0 ? XSTR(DEFAULT_CRYPT) : which == 1 ? "crypt" : "crypt16",
3092         coded, sub[1]);
3093       #undef STR
3094       #undef XSTR
3095
3096       /* If the encrypted string contains fewer than two characters (for the
3097       salt), force failure. Otherwise we get false positives: with an empty
3098       string the yield of crypt() is an empty string! */
3099
3100       if (coded)
3101         tempcond = Ustrlen(sub[1]) < 2 ? FALSE : Ustrcmp(coded, sub[1]) == 0;
3102       else if (errno == EINVAL)
3103         tempcond = FALSE;
3104       else
3105         {
3106         expand_string_message = string_sprintf("crypt error: %s\n",
3107           US strerror(errno));
3108         return NULL;
3109         }
3110       }
3111     break;
3112     #endif  /* SUPPORT_CRYPTEQ */
3113
3114     case ECOND_INLIST:
3115     case ECOND_INLISTI:
3116       {
3117       const uschar * list = sub[1];
3118       int sep = 0;
3119       uschar *save_iterate_item = iterate_item;
3120       int (*compare)(const uschar *, const uschar *);
3121
3122       DEBUG(D_expand) debug_printf_indent("condition: %s  item: %s\n", opname, sub[0]);
3123
3124       tempcond = FALSE;
3125       compare = cond_type == ECOND_INLISTI
3126         ? strcmpic : (int (*)(const uschar *, const uschar *)) strcmp;
3127
3128       while ((iterate_item = string_nextinlist(&list, &sep, NULL, 0)))
3129         {
3130         DEBUG(D_expand) debug_printf_indent(" compare %s\n", iterate_item);
3131         if (compare(sub[0], iterate_item) == 0)
3132           {
3133           tempcond = TRUE;
3134           break;
3135           }
3136         }
3137       iterate_item = save_iterate_item;
3138       }
3139
3140     }   /* Switch for comparison conditions */
3141
3142   *yield = tempcond == testfor;
3143   return s;    /* End of comparison conditions */
3144
3145
3146   /* and/or: computes logical and/or of several conditions */
3147
3148   case ECOND_AND:
3149   case ECOND_OR:
3150   subcondptr = (yield == NULL) ? NULL : &tempcond;
3151   combined_cond = (cond_type == ECOND_AND);
3152
3153   while (isspace(*s)) s++;
3154   if (*s++ != '{') goto COND_FAILED_CURLY_START;        /* }-for-text-editors */
3155
3156   for (;;)
3157     {
3158     while (isspace(*s)) s++;
3159     /* {-for-text-editors */
3160     if (*s == '}') break;
3161     if (*s != '{')                                      /* }-for-text-editors */
3162       {
3163       expand_string_message = string_sprintf("each subcondition "
3164         "inside an \"%s{...}\" condition must be in its own {}", opname);
3165       return NULL;
3166       }
3167
3168     if (!(s = eval_condition(s+1, resetok, subcondptr)))
3169       {
3170       expand_string_message = string_sprintf("%s inside \"%s{...}\" condition",
3171         expand_string_message, opname);
3172       return NULL;
3173       }
3174     while (isspace(*s)) s++;
3175
3176     /* {-for-text-editors */
3177     if (*s++ != '}')
3178       {
3179       /* {-for-text-editors */
3180       expand_string_message = string_sprintf("missing } at end of condition "
3181         "inside \"%s\" group", opname);
3182       return NULL;
3183       }
3184
3185     if (yield)
3186       if (cond_type == ECOND_AND)
3187         {
3188         combined_cond &= tempcond;
3189         if (!combined_cond) subcondptr = NULL;  /* once false, don't */
3190         }                                       /* evaluate any more */
3191       else
3192         {
3193         combined_cond |= tempcond;
3194         if (combined_cond) subcondptr = NULL;   /* once true, don't */
3195         }                                       /* evaluate any more */
3196     }
3197
3198   if (yield) *yield = (combined_cond == testfor);
3199   return ++s;
3200
3201
3202   /* forall/forany: iterates a condition with different values */
3203
3204   case ECOND_FORALL:      is_forany = FALSE;  is_json = FALSE; is_jsons = FALSE; goto FORMANY;
3205   case ECOND_FORANY:      is_forany = TRUE;   is_json = FALSE; is_jsons = FALSE; goto FORMANY;
3206   case ECOND_FORALL_JSON: is_forany = FALSE;  is_json = TRUE;  is_jsons = FALSE; goto FORMANY;
3207   case ECOND_FORANY_JSON: is_forany = TRUE;   is_json = TRUE;  is_jsons = FALSE; goto FORMANY;
3208   case ECOND_FORALL_JSONS: is_forany = FALSE; is_json = TRUE;  is_jsons = TRUE;  goto FORMANY;
3209   case ECOND_FORANY_JSONS: is_forany = TRUE;  is_json = TRUE;  is_jsons = TRUE;  goto FORMANY;
3210
3211   FORMANY:
3212     {
3213     const uschar * list;
3214     int sep = 0;
3215     uschar *save_iterate_item = iterate_item;
3216
3217     DEBUG(D_expand) debug_printf_indent("condition: %s\n", opname);
3218
3219     while (isspace(*s)) s++;
3220     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /* }-for-text-editors */
3221     if (!(sub[0] = expand_string_internal(s, TRUE, &s, yield == NULL, TRUE, resetok)))
3222       return NULL;
3223     /* {-for-text-editors */
3224     if (*s++ != '}') goto COND_FAILED_CURLY_END;
3225
3226     while (isspace(*s)) s++;
3227     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /* }-for-text-editors */
3228
3229     sub[1] = s;
3230
3231     /* Call eval_condition once, with result discarded (as if scanning a
3232     "false" part). This allows us to find the end of the condition, because if
3233     the list it empty, we won't actually evaluate the condition for real. */
3234
3235     if (!(s = eval_condition(sub[1], resetok, NULL)))
3236       {
3237       expand_string_message = string_sprintf("%s inside \"%s\" condition",
3238         expand_string_message, opname);
3239       return NULL;
3240       }
3241     while (isspace(*s)) s++;
3242
3243     /* {-for-text-editors */
3244     if (*s++ != '}')
3245       {
3246       /* {-for-text-editors */
3247       expand_string_message = string_sprintf("missing } at end of condition "
3248         "inside \"%s\"", opname);
3249       return NULL;
3250       }
3251
3252     if (yield) *yield = !testfor;
3253     list = sub[0];
3254     if (is_json) list = dewrap(string_copy(list), US"[]");
3255     while ((iterate_item = is_json
3256       ? json_nextinlist(&list) : string_nextinlist(&list, &sep, NULL, 0)))
3257       {
3258       if (is_jsons)
3259         if (!(iterate_item = dewrap(iterate_item, US"\"\"")))
3260           {
3261           expand_string_message =
3262             string_sprintf("%s wrapping string result for extract jsons",
3263               expand_string_message);
3264           iterate_item = save_iterate_item;
3265           return NULL;
3266           }
3267
3268       DEBUG(D_expand) debug_printf_indent("%s: $item = \"%s\"\n", opname, iterate_item);
3269       if (!eval_condition(sub[1], resetok, &tempcond))
3270         {
3271         expand_string_message = string_sprintf("%s inside \"%s\" condition",
3272           expand_string_message, opname);
3273         iterate_item = save_iterate_item;
3274         return NULL;
3275         }
3276       DEBUG(D_expand) debug_printf_indent("%s: condition evaluated to %s\n", opname,
3277         tempcond? "true":"false");
3278
3279       if (yield) *yield = (tempcond == testfor);
3280       if (tempcond == is_forany) break;
3281       }
3282
3283     iterate_item = save_iterate_item;
3284     return s;
3285     }
3286
3287
3288   /* The bool{} expansion condition maps a string to boolean.
3289   The values supported should match those supported by the ACL condition
3290   (acl.c, ACLC_CONDITION) so that we keep to a minimum the different ideas
3291   of true/false.  Note that Router "condition" rules have a different
3292   interpretation, where general data can be used and only a few values
3293   map to FALSE.
3294   Note that readconf.c boolean matching, for boolean configuration options,
3295   only matches true/yes/false/no.
3296   The bool_lax{} condition matches the Router logic, which is much more
3297   liberal. */
3298   case ECOND_BOOL:
3299   case ECOND_BOOL_LAX:
3300     {
3301     uschar *sub_arg[1];
3302     uschar *t, *t2;
3303     uschar *ourname;
3304     size_t len;
3305     BOOL boolvalue = FALSE;
3306     while (isspace(*s)) s++;
3307     if (*s != '{') goto COND_FAILED_CURLY_START;        /* }-for-text-editors */
3308     ourname = cond_type == ECOND_BOOL_LAX ? US"bool_lax" : US"bool";
3309     switch(read_subs(sub_arg, 1, 1, &s, yield == NULL, FALSE, ourname, resetok))
3310       {
3311       case 1: expand_string_message = string_sprintf(
3312                   "too few arguments or bracketing error for %s",
3313                   ourname);
3314       /*FALLTHROUGH*/
3315       case 2:
3316       case 3: return NULL;
3317       }
3318     t = sub_arg[0];
3319     while (isspace(*t)) t++;
3320     len = Ustrlen(t);
3321     if (len)
3322       {
3323       /* trailing whitespace: seems like a good idea to ignore it too */
3324       t2 = t + len - 1;
3325       while (isspace(*t2)) t2--;
3326       if (t2 != (t + len))
3327         {
3328         *++t2 = '\0';
3329         len = t2 - t;
3330         }
3331       }
3332     DEBUG(D_expand)
3333       debug_printf_indent("considering %s: %s\n", ourname, len ? t : US"<empty>");
3334     /* logic for the lax case from expand_check_condition(), which also does
3335     expands, and the logic is both short and stable enough that there should
3336     be no maintenance burden from replicating it. */
3337     if (len == 0)
3338       boolvalue = FALSE;
3339     else if (*t == '-'
3340              ? Ustrspn(t+1, "0123456789") == len-1
3341              : Ustrspn(t,   "0123456789") == len)
3342       {
3343       boolvalue = (Uatoi(t) == 0) ? FALSE : TRUE;
3344       /* expand_check_condition only does a literal string "0" check */
3345       if ((cond_type == ECOND_BOOL_LAX) && (len > 1))
3346         boolvalue = TRUE;
3347       }
3348     else if (strcmpic(t, US"true") == 0 || strcmpic(t, US"yes") == 0)
3349       boolvalue = TRUE;
3350     else if (strcmpic(t, US"false") == 0 || strcmpic(t, US"no") == 0)
3351       boolvalue = FALSE;
3352     else if (cond_type == ECOND_BOOL_LAX)
3353       boolvalue = TRUE;
3354     else
3355       {
3356       expand_string_message = string_sprintf("unrecognised boolean "
3357        "value \"%s\"", t);
3358       return NULL;
3359       }
3360     DEBUG(D_expand) debug_printf_indent("%s: condition evaluated to %s\n", ourname,
3361         boolvalue? "true":"false");
3362     if (yield) *yield = (boolvalue == testfor);
3363     return s;
3364     }
3365
3366 #ifdef EXPERIMENTAL_SRS_NATIVE
3367   case ECOND_INBOUND_SRS:
3368     /* ${if inbound_srs {local_part}{secret}  {yes}{no}} */
3369     {
3370     uschar * sub[2];
3371     const pcre * re;
3372     int ovec[3*(4+1)];
3373     int n;
3374     uschar cksum[4];
3375     BOOL boolvalue = FALSE;
3376
3377     switch(read_subs(sub, 2, 2, CUSS &s, yield == NULL, FALSE, US"inbound_srs", resetok))
3378       {
3379       case 1: expand_string_message = US"too few arguments or bracketing "
3380         "error for inbound_srs";
3381       case 2:
3382       case 3: return NULL;
3383       }
3384
3385     /* Match the given local_part against the SRS-encoded pattern */
3386
3387     re = regex_must_compile(US"^(?i)SRS0=([^=]+)=([A-Z2-7]+)=([^=]*)=(.*)$",
3388                             TRUE, FALSE);
3389     if (pcre_exec(re, NULL, CS sub[0], Ustrlen(sub[0]), 0, PCRE_EOPT,
3390                   ovec, nelem(ovec)) < 0)
3391       {
3392       DEBUG(D_expand) debug_printf("no match for SRS'd local-part pattern\n");
3393       goto srs_result;
3394       }
3395
3396     /* Side-effect: record the decoded recipient */
3397
3398     srs_recipient = string_sprintf("%.*S@%.*S",                 /* lowercased */
3399                       ovec[9]-ovec[8], sub[0] + ovec[8],        /* substring 4 */
3400                       ovec[7]-ovec[6], sub[0] + ovec[6]);       /* substring 3 */
3401
3402     /* If a zero-length secret was given, we're done.  Otherwise carry on
3403     and validate the given SRS local_part againt our secret. */
3404
3405     if (!*sub[1])
3406       {
3407       boolvalue = TRUE;
3408       goto srs_result;
3409       }
3410
3411     /* check the timestamp */
3412       {
3413       struct timeval now;
3414       uschar * ss = sub[0] + ovec[4];   /* substring 2, the timestamp */
3415       long d;
3416
3417       gettimeofday(&now, NULL);
3418       now.tv_sec /= 86400;              /* days since epoch */
3419
3420       /* Decode substring 2 from base32 to a number */
3421
3422       for (d = 0, n = ovec[5]-ovec[4]; n; n--)
3423         {
3424         uschar * t = Ustrchr(base32_chars, *ss++);
3425         d = d * 32 + (t - base32_chars);
3426         }
3427
3428       if (((now.tv_sec - d) & 0x3ff) > 10)      /* days since SRS generated */
3429         {
3430         DEBUG(D_expand) debug_printf("SRS too old\n");
3431         goto srs_result;
3432         }
3433       }
3434
3435     /* check length of substring 1, the offered checksum */
3436
3437     if (ovec[3]-ovec[2] != 4)
3438       {
3439       DEBUG(D_expand) debug_printf("SRS checksum wrong size\n");
3440       goto srs_result;
3441       }
3442
3443     /* Hash the address with our secret, and compare that computed checksum
3444     with the one extracted from the arg */
3445
3446     hmac_md5(sub[1], srs_recipient, cksum, sizeof(cksum));
3447     if (Ustrncmp(cksum, sub[0] + ovec[2], 4) != 0)
3448       {
3449       DEBUG(D_expand) debug_printf("SRS checksum mismatch\n");
3450       goto srs_result;
3451       }
3452     boolvalue = TRUE;
3453
3454 srs_result:
3455     if (yield) *yield = (boolvalue == testfor);
3456     return s;
3457     }
3458 #endif /*EXPERIMENTAL_SRS_NATIVE*/
3459
3460   /* Unknown condition */
3461
3462   default:
3463     if (!expand_string_message || !*expand_string_message)
3464       expand_string_message = string_sprintf("unknown condition \"%s\"", opname);
3465     return NULL;
3466   }   /* End switch on condition type */
3467
3468 /* Missing braces at start and end of data */
3469
3470 COND_FAILED_CURLY_START:
3471 expand_string_message = string_sprintf("missing { after \"%s\"", opname);
3472 return NULL;
3473
3474 COND_FAILED_CURLY_END:
3475 expand_string_message = string_sprintf("missing } at end of \"%s\" condition",
3476   opname);
3477 return NULL;
3478
3479 /* A condition requires code that is not compiled */
3480
3481 #if !defined(SUPPORT_PAM) || !defined(RADIUS_CONFIG_FILE) || \
3482     !defined(LOOKUP_LDAP) || !defined(CYRUS_PWCHECK_SOCKET) || \
3483     !defined(SUPPORT_CRYPTEQ) || !defined(CYRUS_SASLAUTHD_SOCKET)
3484 COND_FAILED_NOT_COMPILED:
3485 expand_string_message = string_sprintf("support for \"%s\" not compiled",
3486   opname);
3487 return NULL;
3488 #endif
3489 }
3490
3491
3492
3493
3494 /*************************************************
3495 *          Save numerical variables              *
3496 *************************************************/
3497
3498 /* This function is called from items such as "if" that want to preserve and
3499 restore the numbered variables.
3500
3501 Arguments:
3502   save_expand_string    points to an array of pointers to set
3503   save_expand_nlength   points to an array of ints for the lengths
3504
3505 Returns:                the value of expand max to save
3506 */
3507
3508 static int
3509 save_expand_strings(uschar **save_expand_nstring, int *save_expand_nlength)
3510 {
3511 for (int i = 0; i <= expand_nmax; i++)
3512   {
3513   save_expand_nstring[i] = expand_nstring[i];
3514   save_expand_nlength[i] = expand_nlength[i];
3515   }
3516 return expand_nmax;
3517 }
3518
3519
3520
3521 /*************************************************
3522 *           Restore numerical variables          *
3523 *************************************************/
3524
3525 /* This function restored saved values of numerical strings.
3526
3527 Arguments:
3528   save_expand_nmax      the number of strings to restore
3529   save_expand_string    points to an array of pointers
3530   save_expand_nlength   points to an array of ints
3531
3532 Returns:                nothing
3533 */
3534
3535 static void
3536 restore_expand_strings(int save_expand_nmax, uschar **save_expand_nstring,
3537   int *save_expand_nlength)
3538 {
3539 expand_nmax = save_expand_nmax;
3540 for (int i = 0; i <= expand_nmax; i++)
3541   {
3542   expand_nstring[i] = save_expand_nstring[i];
3543   expand_nlength[i] = save_expand_nlength[i];
3544   }
3545 }
3546
3547
3548
3549
3550
3551 /*************************************************
3552 *            Handle yes/no substrings            *
3553 *************************************************/
3554
3555 /* This function is used by ${if}, ${lookup} and ${extract} to handle the
3556 alternative substrings that depend on whether or not the condition was true,
3557 or the lookup or extraction succeeded. The substrings always have to be
3558 expanded, to check their syntax, but "skipping" is set when the result is not
3559 needed - this avoids unnecessary nested lookups.
3560
3561 Arguments:
3562   skipping       TRUE if we were skipping when this item was reached
3563   yes            TRUE if the first string is to be used, else use the second
3564   save_lookup    a value to put back into lookup_value before the 2nd expansion
3565   sptr           points to the input string pointer
3566   yieldptr       points to the output growable-string pointer
3567   type           "lookup", "if", "extract", "run", "env", "listextract" or
3568                  "certextract" for error message
3569   resetok        if not NULL, pointer to flag - write FALSE if unsafe to reset
3570                 the store.
3571
3572 Returns:         0 OK; lookup_value has been reset to save_lookup
3573                  1 expansion failed
3574                  2 expansion failed because of bracketing error
3575 */
3576
3577 static int
3578 process_yesno(BOOL skipping, BOOL yes, uschar *save_lookup, const uschar **sptr,
3579   gstring ** yieldptr, uschar *type, BOOL *resetok)
3580 {
3581 int rc = 0;
3582 const uschar *s = *sptr;    /* Local value */
3583 uschar *sub1, *sub2;
3584 const uschar * errwhere;
3585
3586 /* If there are no following strings, we substitute the contents of $value for
3587 lookups and for extractions in the success case. For the ${if item, the string
3588 "true" is substituted. In the fail case, nothing is substituted for all three
3589 items. */
3590
3591 while (isspace(*s)) s++;
3592 if (*s == '}')
3593   {
3594   if (type[0] == 'i')
3595     {
3596     if (yes && !skipping)
3597       *yieldptr = string_catn(*yieldptr, US"true", 4);
3598     }
3599   else
3600     {
3601     if (yes && lookup_value && !skipping)
3602       *yieldptr = string_cat(*yieldptr, lookup_value);
3603     lookup_value = save_lookup;
3604     }
3605   s++;
3606   goto RETURN;
3607   }
3608
3609 /* The first following string must be braced. */
3610
3611 if (*s++ != '{')
3612   {
3613   errwhere = US"'yes' part did not start with '{'";
3614   goto FAILED_CURLY;
3615   }
3616
3617 /* Expand the first substring. Forced failures are noticed only if we actually
3618 want this string. Set skipping in the call in the fail case (this will always
3619 be the case if we were already skipping). */
3620
3621 sub1 = expand_string_internal(s, TRUE, &s, !yes, TRUE, resetok);
3622 if (sub1 == NULL && (yes || !f.expand_string_forcedfail)) goto FAILED;
3623 f.expand_string_forcedfail = FALSE;
3624 if (*s++ != '}')
3625   {
3626   errwhere = US"'yes' part did not end with '}'";
3627   goto FAILED_CURLY;
3628   }
3629
3630 /* If we want the first string, add it to the output */
3631
3632 if (yes)
3633   *yieldptr = string_cat(*yieldptr, sub1);
3634
3635 /* If this is called from a lookup/env or a (cert)extract, we want to restore
3636 $value to what it was at the start of the item, so that it has this value
3637 during the second string expansion. For the call from "if" or "run" to this
3638 function, save_lookup is set to lookup_value, so that this statement does
3639 nothing. */
3640
3641 lookup_value = save_lookup;
3642
3643 /* There now follows either another substring, or "fail", or nothing. This
3644 time, forced failures are noticed only if we want the second string. We must
3645 set skipping in the nested call if we don't want this string, or if we were
3646 already skipping. */
3647
3648 while (isspace(*s)) s++;
3649 if (*s == '{')
3650   {
3651   sub2 = expand_string_internal(s+1, TRUE, &s, yes || skipping, TRUE, resetok);
3652   if (sub2 == NULL && (!yes || !f.expand_string_forcedfail)) goto FAILED;
3653   f.expand_string_forcedfail = FALSE;
3654   if (*s++ != '}')
3655     {
3656     errwhere = US"'no' part did not start with '{'";
3657     goto FAILED_CURLY;
3658     }
3659
3660   /* If we want the second string, add it to the output */
3661
3662   if (!yes)
3663     *yieldptr = string_cat(*yieldptr, sub2);
3664   }
3665
3666 /* If there is no second string, but the word "fail" is present when the use of
3667 the second string is wanted, set a flag indicating it was a forced failure
3668 rather than a syntactic error. Swallow the terminating } in case this is nested
3669 inside another lookup or if or extract. */
3670
3671 else if (*s != '}')
3672   {
3673   uschar name[256];
3674   /* deconst cast ok here as source is s anyway */
3675   s = US read_name(name, sizeof(name), s, US"_");
3676   if (Ustrcmp(name, "fail") == 0)
3677     {
3678     if (!yes && !skipping)
3679       {
3680       while (isspace(*s)) s++;
3681       if (*s++ != '}')
3682         {
3683         errwhere = US"did not close with '}' after forcedfail";
3684         goto FAILED_CURLY;
3685         }
3686       expand_string_message =
3687         string_sprintf("\"%s\" failed and \"fail\" requested", type);
3688       f.expand_string_forcedfail = TRUE;
3689       goto FAILED;
3690       }
3691     }
3692   else
3693     {
3694     expand_string_message =
3695       string_sprintf("syntax error in \"%s\" item - \"fail\" expected", type);
3696     goto FAILED;
3697     }
3698   }
3699
3700 /* All we have to do now is to check on the final closing brace. */
3701
3702 while (isspace(*s)) s++;
3703 if (*s++ != '}')
3704   {
3705   errwhere = US"did not close with '}'";
3706   goto FAILED_CURLY;
3707   }
3708
3709
3710 RETURN:
3711 /* Update the input pointer value before returning */
3712 *sptr = s;
3713 return rc;
3714
3715 FAILED_CURLY:
3716   /* Get here if there is a bracketing failure */
3717   expand_string_message = string_sprintf(
3718     "curly-bracket problem in conditional yes/no parsing: %s\n"
3719     " remaining string is '%s'", errwhere, --s);
3720   rc = 2;
3721   goto RETURN;
3722
3723 FAILED:
3724   /* Get here for other failures */
3725   rc = 1;
3726   goto RETURN;
3727 }
3728
3729
3730
3731
3732 /********************************************************
3733 * prvs: Get last three digits of days since Jan 1, 1970 *
3734 ********************************************************/
3735
3736 /* This is needed to implement the "prvs" BATV reverse
3737    path signing scheme
3738
3739 Argument: integer "days" offset to add or substract to
3740           or from the current number of days.
3741
3742 Returns:  pointer to string containing the last three
3743           digits of the number of days since Jan 1, 1970,
3744           modified by the offset argument, NULL if there
3745           was an error in the conversion.
3746
3747 */
3748
3749 static uschar *
3750 prvs_daystamp(int day_offset)
3751 {
3752 uschar *days = store_get(32, FALSE);         /* Need at least 24 for cases */
3753 (void)string_format(days, 32, TIME_T_FMT,    /* where TIME_T_FMT is %lld */
3754   (time(NULL) + day_offset*86400)/86400);
3755 return (Ustrlen(days) >= 3) ? &days[Ustrlen(days)-3] : US"100";
3756 }
3757
3758
3759
3760 /********************************************************
3761 *   prvs: perform HMAC-SHA1 computation of prvs bits    *
3762 ********************************************************/
3763
3764 /* This is needed to implement the "prvs" BATV reverse
3765    path signing scheme
3766
3767 Arguments:
3768   address RFC2821 Address to use
3769       key The key to use (must be less than 64 characters
3770           in size)
3771   key_num Single-digit key number to use. Defaults to
3772           '0' when NULL.
3773
3774 Returns:  pointer to string containing the first three
3775           bytes of the final hash in hex format, NULL if
3776           there was an error in the process.
3777 */
3778
3779 static uschar *
3780 prvs_hmac_sha1(uschar *address, uschar *key, uschar *key_num, uschar *daystamp)
3781 {
3782 gstring * hash_source;
3783 uschar * p;
3784 hctx h;
3785 uschar innerhash[20];
3786 uschar finalhash[20];
3787 uschar innerkey[64];
3788 uschar outerkey[64];
3789 uschar *finalhash_hex;
3790
3791 if (!key_num)
3792   key_num = US"0";
3793
3794 if (Ustrlen(key) > 64)
3795   return NULL;
3796
3797 hash_source = string_catn(NULL, key_num, 1);
3798 hash_source = string_catn(hash_source, daystamp, 3);
3799 hash_source = string_cat(hash_source, address);
3800 (void) string_from_gstring(hash_source);
3801
3802 DEBUG(D_expand)
3803   debug_printf_indent("prvs: hash source is '%s'\n", hash_source->s);
3804
3805 memset(innerkey, 0x36, 64);
3806 memset(outerkey, 0x5c, 64);
3807
3808 for (int i = 0; i < Ustrlen(key); i++)
3809   {
3810   innerkey[i] ^= key[i];
3811   outerkey[i] ^= key[i];
3812   }
3813
3814 chash_start(HMAC_SHA1, &h);
3815 chash_mid(HMAC_SHA1, &h, innerkey);
3816 chash_end(HMAC_SHA1, &h, hash_source->s, hash_source->ptr, innerhash);
3817
3818 chash_start(HMAC_SHA1, &h);
3819 chash_mid(HMAC_SHA1, &h, outerkey);
3820 chash_end(HMAC_SHA1, &h, innerhash, 20, finalhash);
3821
3822 /* Hashing is deemed sufficient to de-taint any input data */
3823
3824 p = finalhash_hex = store_get(40, FALSE);
3825 for (int i = 0; i < 3; i++)
3826   {
3827   *p++ = hex_digits[(finalhash[i] & 0xf0) >> 4];
3828   *p++ = hex_digits[finalhash[i] & 0x0f];
3829   }
3830 *p = '\0';
3831
3832 return finalhash_hex;
3833 }
3834
3835
3836
3837
3838 /*************************************************
3839 *        Join a file onto the output string      *
3840 *************************************************/
3841
3842 /* This is used for readfile/readsock and after a run expansion.
3843 It joins the contents of a file onto the output string, globally replacing
3844 newlines with a given string (optionally).
3845
3846 Arguments:
3847   f            the FILE
3848   yield        pointer to the expandable string struct
3849   eol          newline replacement string, or NULL
3850
3851 Returns:       new pointer for expandable string, terminated if non-null
3852 */
3853
3854 static gstring *
3855 cat_file(FILE *f, gstring *yield, uschar *eol)
3856 {
3857 uschar buffer[1024];
3858
3859 while (Ufgets(buffer, sizeof(buffer), f))
3860   {
3861   int len = Ustrlen(buffer);
3862   if (eol && buffer[len-1] == '\n') len--;
3863   yield = string_catn(yield, buffer, len);
3864   if (eol && buffer[len])
3865     yield = string_cat(yield, eol);
3866   }
3867
3868 (void) string_from_gstring(yield);
3869 return yield;
3870 }
3871
3872
3873 #ifndef DISABLE_TLS
3874 static gstring *
3875 cat_file_tls(void * tls_ctx, gstring * yield, uschar * eol)
3876 {
3877 int rc;
3878 uschar buffer[1024];
3879
3880 /*XXX could we read direct into a pre-grown string? */
3881
3882 while ((rc = tls_read(tls_ctx, buffer, sizeof(buffer))) > 0)
3883   for (uschar * s = buffer; rc--; s++)
3884     yield = eol && *s == '\n'
3885       ? string_cat(yield, eol) : string_catn(yield, s, 1);
3886
3887 /* We assume that all errors, and any returns of zero bytes,
3888 are actually EOF. */
3889
3890 (void) string_from_gstring(yield);
3891 return yield;
3892 }
3893 #endif
3894
3895
3896 /*************************************************
3897 *          Evaluate numeric expression           *
3898 *************************************************/
3899
3900 /* This is a set of mutually recursive functions that evaluate an arithmetic
3901 expression involving + - * / % & | ^ ~ << >> and parentheses. The only one of
3902 these functions that is called from elsewhere is eval_expr, whose interface is:
3903
3904 Arguments:
3905   sptr        pointer to the pointer to the string - gets updated
3906   decimal     TRUE if numbers are to be assumed decimal
3907   error       pointer to where to put an error message - must be NULL on input
3908   endket      TRUE if ')' must terminate - FALSE for external call
3909
3910 Returns:      on success: the value of the expression, with *error still NULL
3911               on failure: an undefined value, with *error = a message
3912 */
3913
3914 static int_eximarith_t eval_op_or(uschar **, BOOL, uschar **);
3915
3916
3917 static int_eximarith_t
3918 eval_expr(uschar **sptr, BOOL decimal, uschar **error, BOOL endket)
3919 {
3920 uschar *s = *sptr;
3921 int_eximarith_t x = eval_op_or(&s, decimal, error);
3922
3923 if (!*error)
3924   if (endket)
3925     if (*s != ')')
3926       *error = US"expecting closing parenthesis";
3927     else
3928       while (isspace(*(++s)));
3929   else if (*s)
3930     *error = US"expecting operator";
3931 *sptr = s;
3932 return x;
3933 }
3934
3935
3936 static int_eximarith_t
3937 eval_number(uschar **sptr, BOOL decimal, uschar **error)
3938 {
3939 int c;
3940 int_eximarith_t n;
3941 uschar *s = *sptr;
3942
3943 while (isspace(*s)) s++;
3944 if (isdigit((c = *s)))
3945   {
3946   int count;
3947   (void)sscanf(CS s, (decimal? SC_EXIM_DEC "%n" : SC_EXIM_ARITH "%n"), &n, &count);
3948   s += count;
3949   switch (tolower(*s))
3950     {
3951     default: break;
3952     case 'k': n *= 1024; s++; break;
3953     case 'm': n *= 1024*1024; s++; break;
3954     case 'g': n *= 1024*1024*1024; s++; break;
3955     }
3956   while (isspace (*s)) s++;
3957   }
3958 else if (c == '(')
3959   {
3960   s++;
3961   n = eval_expr(&s, decimal, error, 1);
3962   }
3963 else
3964   {
3965   *error = US"expecting number or opening parenthesis";
3966   n = 0;
3967   }
3968 *sptr = s;
3969 return n;
3970 }
3971
3972
3973 static int_eximarith_t
3974 eval_op_unary(uschar **sptr, BOOL decimal, uschar **error)
3975 {
3976 uschar *s = *sptr;
3977 int_eximarith_t x;
3978 while (isspace(*s)) s++;
3979 if (*s == '+' || *s == '-' || *s == '~')
3980   {
3981   int op = *s++;
3982   x = eval_op_unary(&s, decimal, error);
3983   if (op == '-') x = -x;
3984     else if (op == '~') x = ~x;
3985   }
3986 else
3987   x = eval_number(&s, decimal, error);
3988
3989 *sptr = s;
3990 return x;
3991 }
3992
3993
3994 static int_eximarith_t
3995 eval_op_mult(uschar **sptr, BOOL decimal, uschar **error)
3996 {
3997 uschar *s = *sptr;
3998 int_eximarith_t x = eval_op_unary(&s, decimal, error);
3999 if (!*error)
4000   {
4001   while (*s == '*' || *s == '/' || *s == '%')
4002     {
4003     int op = *s++;
4004     int_eximarith_t y = eval_op_unary(&s, decimal, error);
4005     if (*error) break;
4006     /* SIGFPE both on div/mod by zero and on INT_MIN / -1, which would give
4007      * a value of INT_MAX+1. Note that INT_MIN * -1 gives INT_MIN for me, which
4008      * is a bug somewhere in [gcc 4.2.1, FreeBSD, amd64].  In fact, -N*-M where
4009      * -N*M is INT_MIN will yield INT_MIN.
4010      * Since we don't support floating point, this is somewhat simpler.
4011      * Ideally, we'd return an error, but since we overflow for all other
4012      * arithmetic, consistency suggests otherwise, but what's the correct value
4013      * to use?  There is none.
4014      * The C standard guarantees overflow for unsigned arithmetic but signed
4015      * overflow invokes undefined behaviour; in practice, this is overflow
4016      * except for converting INT_MIN to INT_MAX+1.  We also can't guarantee
4017      * that long/longlong larger than int are available, or we could just work
4018      * with larger types.  We should consider whether to guarantee 32bit eval
4019      * and 64-bit working variables, with errors returned.  For now ...
4020      * So, the only SIGFPEs occur with a non-shrinking div/mod, thus -1; we
4021      * can just let the other invalid results occur otherwise, as they have
4022      * until now.  For this one case, we can coerce.
4023      */
4024     if (y == -1 && x == EXIM_ARITH_MIN && op != '*')
4025       {
4026       DEBUG(D_expand)
4027         debug_printf("Integer exception dodging: " PR_EXIM_ARITH "%c-1 coerced to " PR_EXIM_ARITH "\n",
4028             EXIM_ARITH_MIN, op, EXIM_ARITH_MAX);
4029       x = EXIM_ARITH_MAX;
4030       continue;
4031       }
4032     if (op == '*')
4033       x *= y;
4034     else
4035       {
4036       if (y == 0)
4037         {
4038         *error = (op == '/') ? US"divide by zero" : US"modulo by zero";
4039         x = 0;
4040         break;
4041         }
4042       if (op == '/')
4043         x /= y;
4044       else
4045         x %= y;
4046       }
4047     }
4048   }
4049 *sptr = s;
4050 return x;
4051 }
4052
4053
4054 static int_eximarith_t
4055 eval_op_sum(uschar **sptr, BOOL decimal, uschar **error)
4056 {
4057 uschar *s = *sptr;
4058 int_eximarith_t x = eval_op_mult(&s, decimal, error);
4059 if (!*error)
4060   {
4061   while (*s == '+' || *s == '-')
4062     {
4063     int op = *s++;
4064     int_eximarith_t y = eval_op_mult(&s, decimal, error);
4065     if (*error) break;
4066     if (  (x >=   EXIM_ARITH_MAX/2  && x >=   EXIM_ARITH_MAX/2)
4067        || (x <= -(EXIM_ARITH_MAX/2) && y <= -(EXIM_ARITH_MAX/2)))
4068       {                 /* over-conservative check */
4069       *error = op == '+'
4070         ? US"overflow in sum" : US"overflow in difference";
4071       break;
4072       }
4073     if (op == '+') x += y; else x -= y;
4074     }
4075   }
4076 *sptr = s;
4077 return x;
4078 }
4079
4080
4081 static int_eximarith_t
4082 eval_op_shift(uschar **sptr, BOOL decimal, uschar **error)
4083 {
4084 uschar *s = *sptr;
4085 int_eximarith_t x = eval_op_sum(&s, decimal, error);
4086 if (!*error)
4087   {
4088   while ((*s == '<' || *s == '>') && s[1] == s[0])
4089     {
4090     int_eximarith_t y;
4091     int op = *s++;
4092     s++;
4093     y = eval_op_sum(&s, decimal, error);
4094     if (*error) break;
4095     if (op == '<') x <<= y; else x >>= y;
4096     }
4097   }
4098 *sptr = s;
4099 return x;
4100 }
4101
4102
4103 static int_eximarith_t
4104 eval_op_and(uschar **sptr, BOOL decimal, uschar **error)
4105 {
4106 uschar *s = *sptr;
4107 int_eximarith_t x = eval_op_shift(&s, decimal, error);
4108 if (!*error)
4109   {
4110   while (*s == '&')
4111     {
4112     int_eximarith_t y;
4113     s++;
4114     y = eval_op_shift(&s, decimal, error);
4115     if (*error) break;
4116     x &= y;
4117     }
4118   }
4119 *sptr = s;
4120 return x;
4121 }
4122
4123
4124 static int_eximarith_t
4125 eval_op_xor(uschar **sptr, BOOL decimal, uschar **error)
4126 {
4127 uschar *s = *sptr;
4128 int_eximarith_t x = eval_op_and(&s, decimal, error);
4129 if (!*error)
4130   {
4131   while (*s == '^')
4132     {
4133     int_eximarith_t y;
4134     s++;
4135     y = eval_op_and(&s, decimal, error);
4136     if (*error) break;
4137     x ^= y;
4138     }
4139   }
4140 *sptr = s;
4141 return x;
4142 }
4143
4144
4145 static int_eximarith_t
4146 eval_op_or(uschar **sptr, BOOL decimal, uschar **error)
4147 {
4148 uschar *s = *sptr;
4149 int_eximarith_t x = eval_op_xor(&s, decimal, error);
4150 if (!*error)
4151   {
4152   while (*s == '|')
4153     {
4154     int_eximarith_t y;
4155     s++;
4156     y = eval_op_xor(&s, decimal, error);
4157     if (*error) break;
4158     x |= y;
4159     }
4160   }
4161 *sptr = s;
4162 return x;
4163 }
4164
4165
4166
4167 /************************************************/
4168 /* Comparison operation for sort expansion.  We need to avoid
4169 re-expanding the fields being compared, so need a custom routine.
4170
4171 Arguments:
4172  cond_type              Comparison operator code
4173  leftarg, rightarg      Arguments for comparison
4174
4175 Return true iff (leftarg compare rightarg)
4176 */
4177
4178 static BOOL
4179 sortsbefore(int cond_type, BOOL alpha_cond,
4180   const uschar * leftarg, const uschar * rightarg)
4181 {
4182 int_eximarith_t l_num, r_num;
4183
4184 if (!alpha_cond)
4185   {
4186   l_num = expanded_string_integer(leftarg, FALSE);
4187   if (expand_string_message) return FALSE;
4188   r_num = expanded_string_integer(rightarg, FALSE);
4189   if (expand_string_message) return FALSE;
4190
4191   switch (cond_type)
4192     {
4193     case ECOND_NUM_G:   return l_num >  r_num;
4194     case ECOND_NUM_GE:  return l_num >= r_num;
4195     case ECOND_NUM_L:   return l_num <  r_num;
4196     case ECOND_NUM_LE:  return l_num <= r_num;
4197     default: break;
4198     }
4199   }
4200 else
4201   switch (cond_type)
4202     {
4203     case ECOND_STR_LT:  return Ustrcmp (leftarg, rightarg) <  0;
4204     case ECOND_STR_LTI: return strcmpic(leftarg, rightarg) <  0;
4205     case ECOND_STR_LE:  return Ustrcmp (leftarg, rightarg) <= 0;
4206     case ECOND_STR_LEI: return strcmpic(leftarg, rightarg) <= 0;
4207     case ECOND_STR_GT:  return Ustrcmp (leftarg, rightarg) >  0;
4208     case ECOND_STR_GTI: return strcmpic(leftarg, rightarg) >  0;
4209     case ECOND_STR_GE:  return Ustrcmp (leftarg, rightarg) >= 0;
4210     case ECOND_STR_GEI: return strcmpic(leftarg, rightarg) >= 0;
4211     default: break;
4212     }
4213 return FALSE;   /* should not happen */
4214 }
4215
4216
4217 /*************************************************
4218 *                 Expand string                  *
4219 *************************************************/
4220
4221 /* Returns either an unchanged string, or the expanded string in stacking pool
4222 store. Interpreted sequences are:
4223
4224    \...                    normal escaping rules
4225    $name                   substitutes the variable
4226    ${name}                 ditto
4227    ${op:string}            operates on the expanded string value
4228    ${item{arg1}{arg2}...}  expands the args and then does the business
4229                              some literal args are not enclosed in {}
4230
4231 There are now far too many operators and item types to make it worth listing
4232 them here in detail any more.
4233
4234 We use an internal routine recursively to handle embedded substrings. The
4235 external function follows. The yield is NULL if the expansion failed, and there
4236 are two cases: if something collapsed syntactically, or if "fail" was given
4237 as the action on a lookup failure. These can be distinguished by looking at the
4238 variable expand_string_forcedfail, which is TRUE in the latter case.
4239
4240 The skipping flag is set true when expanding a substring that isn't actually
4241 going to be used (after "if" or "lookup") and it prevents lookups from
4242 happening lower down.
4243
4244 Store usage: At start, a store block of the length of the input plus 64
4245 is obtained. This is expanded as necessary by string_cat(), which might have to
4246 get a new block, or might be able to expand the original. At the end of the
4247 function we can release any store above that portion of the yield block that
4248 was actually used. In many cases this will be optimal.
4249
4250 However: if the first item in the expansion is a variable name or header name,
4251 we reset the store before processing it; if the result is in fresh store, we
4252 use that without copying. This is helpful for expanding strings like
4253 $message_headers which can get very long.
4254
4255 There's a problem if a ${dlfunc item has side-effects that cause allocation,
4256 since resetting the store at the end of the expansion will free store that was
4257 allocated by the plugin code as well as the slop after the expanded string. So
4258 we skip any resets if ${dlfunc } has been used. The same applies for ${acl }
4259 and, given the acl condition, ${if }. This is an unfortunate consequence of
4260 string expansion becoming too powerful.
4261
4262 Arguments:
4263   string         the string to be expanded
4264   ket_ends       true if expansion is to stop at }
4265   left           if not NULL, a pointer to the first character after the
4266                  expansion is placed here (typically used with ket_ends)
4267   skipping       TRUE for recursive calls when the value isn't actually going
4268                  to be used (to allow for optimisation)
4269   honour_dollar  TRUE if $ is to be expanded,
4270                  FALSE if it's just another character
4271   resetok_p      if not NULL, pointer to flag - write FALSE if unsafe to reset
4272                  the store.
4273
4274 Returns:         NULL if expansion fails:
4275                    expand_string_forcedfail is set TRUE if failure was forced
4276                    expand_string_message contains a textual error message
4277                  a pointer to the expanded string on success
4278 */
4279
4280 static uschar *
4281 expand_string_internal(const uschar *string, BOOL ket_ends, const uschar **left,
4282   BOOL skipping, BOOL honour_dollar, BOOL *resetok_p)
4283 {
4284 rmark reset_point = store_mark();
4285 gstring * yield = string_get(Ustrlen(string) + 64);
4286 int item_type;
4287 const uschar *s = string;
4288 uschar *save_expand_nstring[EXPAND_MAXN+1];
4289 int save_expand_nlength[EXPAND_MAXN+1];
4290 BOOL resetok = TRUE;
4291
4292 expand_level++;
4293 DEBUG(D_expand)
4294   DEBUG(D_noutf8)
4295     debug_printf_indent("/%s: %s\n",
4296       skipping ? "---scanning" : "considering", string);
4297   else
4298     debug_printf_indent(UTF8_DOWN_RIGHT "%s: %s\n",
4299       skipping
4300       ? UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ "scanning"
4301       : "considering",
4302       string);
4303
4304 f.expand_string_forcedfail = FALSE;
4305 expand_string_message = US"";
4306
4307 if (is_tainted(string))
4308   {
4309   expand_string_message =
4310     string_sprintf("attempt to expand tainted string '%s'", s);
4311   log_write(0, LOG_MAIN|LOG_PANIC, "%s", expand_string_message);
4312   goto EXPAND_FAILED;
4313   }
4314
4315 while (*s != 0)
4316   {
4317   uschar *value;
4318   uschar name[256];
4319
4320   /* \ escapes the next character, which must exist, or else
4321   the expansion fails. There's a special escape, \N, which causes
4322   copying of the subject verbatim up to the next \N. Otherwise,
4323   the escapes are the standard set. */
4324
4325   if (*s == '\\')
4326     {
4327     if (s[1] == 0)
4328       {
4329       expand_string_message = US"\\ at end of string";
4330       goto EXPAND_FAILED;
4331       }
4332
4333     if (s[1] == 'N')
4334       {
4335       const uschar * t = s + 2;
4336       for (s = t; *s != 0; s++) if (*s == '\\' && s[1] == 'N') break;
4337       yield = string_catn(yield, t, s - t);
4338       if (*s != 0) s += 2;
4339       }
4340
4341     else
4342       {
4343       uschar ch[1];
4344       ch[0] = string_interpret_escape(&s);
4345       s++;
4346       yield = string_catn(yield, ch, 1);
4347       }
4348
4349     continue;
4350     }
4351
4352   /*{*/
4353   /* Anything other than $ is just copied verbatim, unless we are
4354   looking for a terminating } character. */
4355
4356   /*{*/
4357   if (ket_ends && *s == '}') break;
4358
4359   if (*s != '$' || !honour_dollar)
4360     {
4361     yield = string_catn(yield, s++, 1);
4362     continue;
4363     }
4364
4365   /* No { after the $ - must be a plain name or a number for string
4366   match variable. There has to be a fudge for variables that are the
4367   names of header fields preceded by "$header_" because header field
4368   names can contain any printing characters except space and colon.
4369   For those that don't like typing this much, "$h_" is a synonym for
4370   "$header_". A non-existent header yields a NULL value; nothing is
4371   inserted. */  /*}*/
4372
4373   if (isalpha((*(++s))))
4374     {
4375     int len;
4376     int newsize = 0;
4377     gstring * g = NULL;
4378     uschar * t;
4379
4380     s = read_name(name, sizeof(name), s, US"_");
4381
4382     /* If this is the first thing to be expanded, release the pre-allocated
4383     buffer. */
4384
4385     if (!yield)
4386       g = store_get(sizeof(gstring), FALSE);
4387     else if (yield->ptr == 0)
4388       {
4389       if (resetok) reset_point = store_reset(reset_point);
4390       yield = NULL;
4391       reset_point = store_mark();
4392       g = store_get(sizeof(gstring), FALSE);    /* alloc _before_ calling find_variable() */
4393       }
4394
4395     /* Header */
4396
4397     if (  ( *(t = name) == 'h'
4398           || (*t == 'r' || *t == 'l' || *t == 'b') && *++t == 'h'
4399           )
4400        && (*++t == '_' || Ustrncmp(t, "eader_", 6) == 0)
4401        )
4402       {
4403       unsigned flags = *name == 'r' ? FH_WANT_RAW
4404                       : *name == 'l' ? FH_WANT_RAW|FH_WANT_LIST
4405                       : 0;
4406       uschar * charset = *name == 'b' ? NULL : headers_charset;
4407
4408       s = read_header_name(name, sizeof(name), s);
4409       value = find_header(name, &newsize, flags, charset);
4410
4411       /* If we didn't find the header, and the header contains a closing brace
4412       character, this may be a user error where the terminating colon
4413       has been omitted. Set a flag to adjust the error message in this case.
4414       But there is no error here - nothing gets inserted. */
4415
4416       if (!value)
4417         {
4418         if (Ustrchr(name, '}')) malformed_header = TRUE;
4419         continue;
4420         }
4421       }
4422
4423     /* Variable */
4424
4425     else if (!(value = find_variable(name, FALSE, skipping, &newsize)))
4426       {
4427       expand_string_message =
4428         string_sprintf("unknown variable name \"%s\"", name);
4429         check_variable_error_message(name);
4430       goto EXPAND_FAILED;
4431       }
4432
4433     /* If the data is known to be in a new buffer, newsize will be set to the
4434     size of that buffer. If this is the first thing in an expansion string,
4435     yield will be NULL; just point it at the new store instead of copying. Many
4436     expansion strings contain just one reference, so this is a useful
4437     optimization, especially for humungous headers.  We need to use a gstring
4438     structure that is not allocated after that new-buffer, else a later store
4439     reset in the middle of the buffer will make it inaccessible. */
4440
4441     len = Ustrlen(value);
4442     if (!yield && newsize != 0)
4443       {
4444       yield = g;
4445       yield->size = newsize;
4446       yield->ptr = len;
4447       yield->s = value;
4448       }
4449     else
4450       yield = string_catn(yield, value, len);
4451
4452     continue;
4453     }
4454
4455   if (isdigit(*s))
4456     {
4457     int n;
4458     s = read_cnumber(&n, s);
4459     if (n >= 0 && n <= expand_nmax)
4460       yield = string_catn(yield, expand_nstring[n], expand_nlength[n]);
4461     continue;
4462     }
4463
4464   /* Otherwise, if there's no '{' after $ it's an error. */             /*}*/
4465
4466   if (*s != '{')                                                        /*}*/
4467     {
4468     expand_string_message = US"$ not followed by letter, digit, or {";  /*}*/
4469     goto EXPAND_FAILED;
4470     }
4471
4472   /* After { there can be various things, but they all start with
4473   an initial word, except for a number for a string match variable. */
4474
4475   if (isdigit((*(++s))))
4476     {
4477     int n;
4478     s = read_cnumber(&n, s);            /*{*/
4479     if (*s++ != '}')
4480       {                                 /*{*/
4481       expand_string_message = US"} expected after number";
4482       goto EXPAND_FAILED;
4483       }
4484     if (n >= 0 && n <= expand_nmax)
4485       yield = string_catn(yield, expand_nstring[n], expand_nlength[n]);
4486     continue;
4487     }
4488
4489   if (!isalpha(*s))
4490     {
4491     expand_string_message = US"letter or digit expected after ${";      /*}*/
4492     goto EXPAND_FAILED;
4493     }
4494
4495   /* Allow "-" in names to cater for substrings with negative
4496   arguments. Since we are checking for known names after { this is
4497   OK. */
4498
4499   s = read_name(name, sizeof(name), s, US"_-");
4500   item_type = chop_match(name, item_table, nelem(item_table));
4501
4502   switch(item_type)
4503     {
4504     /* Call an ACL from an expansion.  We feed data in via $acl_arg1 - $acl_arg9.
4505     If the ACL returns accept or reject we return content set by "message ="
4506     There is currently no limit on recursion; this would have us call
4507     acl_check_internal() directly and get a current level from somewhere.
4508     See also the acl expansion condition ECOND_ACL and the traditional
4509     acl modifier ACLC_ACL.
4510     Assume that the function has side-effects on the store that must be preserved.
4511     */
4512
4513     case EITEM_ACL:
4514       /* ${acl {name} {arg1}{arg2}...} */
4515       {
4516       uschar *sub[10];  /* name + arg1-arg9 (which must match number of acl_arg[]) */
4517       uschar *user_msg;
4518       int rc;
4519
4520       switch(read_subs(sub, nelem(sub), 1, &s, skipping, TRUE, US"acl",
4521                       &resetok))
4522         {
4523         case 1: goto EXPAND_FAILED_CURLY;
4524         case 2:
4525         case 3: goto EXPAND_FAILED;
4526         }
4527       if (skipping) continue;
4528
4529       resetok = FALSE;
4530       switch(rc = eval_acl(sub, nelem(sub), &user_msg))
4531         {
4532         case OK:
4533         case FAIL:
4534           DEBUG(D_expand)
4535             debug_printf_indent("acl expansion yield: %s\n", user_msg);
4536           if (user_msg)
4537             yield = string_cat(yield, user_msg);
4538           continue;
4539
4540         case DEFER:
4541           f.expand_string_forcedfail = TRUE;
4542           /*FALLTHROUGH*/
4543         default:
4544           expand_string_message = string_sprintf("%s from acl \"%s\"",
4545             rc_names[rc], sub[0]);
4546           goto EXPAND_FAILED;
4547         }
4548       }
4549
4550     case EITEM_AUTHRESULTS:
4551       /* ${authresults {mysystemname}} */
4552       {
4553       uschar *sub_arg[1];
4554
4555       switch(read_subs(sub_arg, nelem(sub_arg), 1, &s, skipping, TRUE, name,
4556                       &resetok))
4557         {
4558         case 1: goto EXPAND_FAILED_CURLY;
4559         case 2:
4560         case 3: goto EXPAND_FAILED;
4561         }
4562
4563       yield = string_append(yield, 3,
4564                         US"Authentication-Results: ", sub_arg[0], US"; none");
4565       yield->ptr -= 6;
4566
4567       yield = authres_local(yield, sub_arg[0]);
4568       yield = authres_iprev(yield);
4569       yield = authres_smtpauth(yield);
4570 #ifdef SUPPORT_SPF
4571       yield = authres_spf(yield);
4572 #endif
4573 #ifndef DISABLE_DKIM
4574       yield = authres_dkim(yield);
4575 #endif
4576 #ifdef SUPPORT_DMARC
4577       yield = authres_dmarc(yield);
4578 #endif
4579 #ifdef EXPERIMENTAL_ARC
4580       yield = authres_arc(yield);
4581 #endif
4582       continue;
4583       }
4584
4585     /* Handle conditionals - preserve the values of the numerical expansion
4586     variables in case they get changed by a regular expression match in the
4587     condition. If not, they retain their external settings. At the end
4588     of this "if" section, they get restored to their previous values. */
4589
4590     case EITEM_IF:
4591       {
4592       BOOL cond = FALSE;
4593       const uschar *next_s;
4594       int save_expand_nmax =
4595         save_expand_strings(save_expand_nstring, save_expand_nlength);
4596
4597       while (isspace(*s)) s++;
4598       if (!(next_s = eval_condition(s, &resetok, skipping ? NULL : &cond)))
4599         goto EXPAND_FAILED;  /* message already set */
4600
4601       DEBUG(D_expand)
4602         DEBUG(D_noutf8)
4603           {
4604           debug_printf_indent("|--condition: %.*s\n", (int)(next_s - s), s);
4605           debug_printf_indent("|-----result: %s\n", cond ? "true" : "false");
4606           }
4607         else
4608           {
4609           debug_printf_indent(UTF8_VERT_RIGHT UTF8_HORIZ UTF8_HORIZ
4610             "condition: %.*s\n",
4611             (int)(next_s - s), s);
4612           debug_printf_indent(UTF8_VERT_RIGHT UTF8_HORIZ UTF8_HORIZ
4613             UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ
4614             "result: %s\n",
4615             cond ? "true" : "false");
4616           }
4617
4618       s = next_s;
4619
4620       /* The handling of "yes" and "no" result strings is now in a separate
4621       function that is also used by ${lookup} and ${extract} and ${run}. */
4622
4623       switch(process_yesno(
4624                skipping,                     /* were previously skipping */
4625                cond,                         /* success/failure indicator */
4626                lookup_value,                 /* value to reset for string2 */
4627                &s,                           /* input pointer */
4628                &yield,                       /* output pointer */
4629                US"if",                       /* condition type */
4630                &resetok))
4631         {
4632         case 1: goto EXPAND_FAILED;          /* when all is well, the */
4633         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
4634         }
4635
4636       /* Restore external setting of expansion variables for continuation
4637       at this level. */
4638
4639       restore_expand_strings(save_expand_nmax, save_expand_nstring,
4640         save_expand_nlength);
4641       continue;
4642       }
4643
4644 #ifdef SUPPORT_I18N
4645     case EITEM_IMAPFOLDER:
4646       {                         /* ${imapfolder {name}{sep]{specials}} */
4647       uschar *sub_arg[3];
4648       uschar *encoded;
4649
4650       switch(read_subs(sub_arg, nelem(sub_arg), 1, &s, skipping, TRUE, name,
4651                       &resetok))
4652         {
4653         case 1: goto EXPAND_FAILED_CURLY;
4654         case 2:
4655         case 3: goto EXPAND_FAILED;
4656         }
4657
4658       if (!sub_arg[1])                  /* One argument */
4659         {
4660         sub_arg[1] = US"/";             /* default separator */
4661         sub_arg[2] = NULL;
4662         }
4663       else if (Ustrlen(sub_arg[1]) != 1)
4664         {
4665         expand_string_message =
4666           string_sprintf(
4667                 "IMAP folder separator must be one character, found \"%s\"",
4668                 sub_arg[1]);
4669         goto EXPAND_FAILED;
4670         }
4671
4672       if (!skipping)
4673         {
4674         if (!(encoded = imap_utf7_encode(sub_arg[0], headers_charset,
4675                             sub_arg[1][0], sub_arg[2], &expand_string_message)))
4676           goto EXPAND_FAILED;
4677         yield = string_cat(yield, encoded);
4678         }
4679       continue;
4680       }
4681 #endif
4682
4683     /* Handle database lookups unless locked out. If "skipping" is TRUE, we are
4684     expanding an internal string that isn't actually going to be used. All we
4685     need to do is check the syntax, so don't do a lookup at all. Preserve the
4686     values of the numerical expansion variables in case they get changed by a
4687     partial lookup. If not, they retain their external settings. At the end
4688     of this "lookup" section, they get restored to their previous values. */
4689
4690     case EITEM_LOOKUP:
4691       {
4692       int stype, partial, affixlen, starflags;
4693       int expand_setup = 0;
4694       int nameptr = 0;
4695       uschar *key, *filename;
4696       const uschar *affix;
4697       uschar *save_lookup_value = lookup_value;
4698       int save_expand_nmax =
4699         save_expand_strings(save_expand_nstring, save_expand_nlength);
4700
4701       if ((expand_forbid & RDO_LOOKUP) != 0)
4702         {
4703         expand_string_message = US"lookup expansions are not permitted";
4704         goto EXPAND_FAILED;
4705         }
4706
4707       /* Get the key we are to look up for single-key+file style lookups.
4708       Otherwise set the key NULL pro-tem. */
4709
4710       while (isspace(*s)) s++;
4711       if (*s == '{')                                    /*}*/
4712         {
4713         key = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
4714         if (!key) goto EXPAND_FAILED;                   /*{{*/
4715         if (*s++ != '}')
4716           {
4717           expand_string_message = US"missing '}' after lookup key";
4718           goto EXPAND_FAILED_CURLY;
4719           }
4720         while (isspace(*s)) s++;
4721         }
4722       else key = NULL;
4723
4724       /* Find out the type of database */
4725
4726       if (!isalpha(*s))
4727         {
4728         expand_string_message = US"missing lookup type";
4729         goto EXPAND_FAILED;
4730         }
4731
4732       /* The type is a string that may contain special characters of various
4733       kinds. Allow everything except space or { to appear; the actual content
4734       is checked by search_findtype_partial. */         /*}*/
4735
4736       while (*s != 0 && *s != '{' && !isspace(*s))      /*}*/
4737         {
4738         if (nameptr < sizeof(name) - 1) name[nameptr++] = *s;
4739         s++;
4740         }
4741       name[nameptr] = 0;
4742       while (isspace(*s)) s++;
4743
4744       /* Now check for the individual search type and any partial or default
4745       options. Only those types that are actually in the binary are valid. */
4746
4747       stype = search_findtype_partial(name, &partial, &affix, &affixlen,
4748         &starflags);
4749       if (stype < 0)
4750         {
4751         expand_string_message = search_error_message;
4752         goto EXPAND_FAILED;
4753         }
4754
4755       /* Check that a key was provided for those lookup types that need it,
4756       and was not supplied for those that use the query style. */
4757
4758       if (!mac_islookup(stype, lookup_querystyle|lookup_absfilequery))
4759         {
4760         if (!key)
4761           {
4762           expand_string_message = string_sprintf("missing {key} for single-"
4763             "key \"%s\" lookup", name);
4764           goto EXPAND_FAILED;
4765           }
4766         }
4767       else
4768         {
4769         if (key)
4770           {
4771           expand_string_message = string_sprintf("a single key was given for "
4772             "lookup type \"%s\", which is not a single-key lookup type", name);
4773           goto EXPAND_FAILED;
4774           }
4775         }
4776
4777       /* Get the next string in brackets and expand it. It is the file name for
4778       single-key+file lookups, and the whole query otherwise. In the case of
4779       queries that also require a file name (e.g. sqlite), the file name comes
4780       first. */
4781
4782       if (*s != '{')
4783         {
4784         expand_string_message = US"missing '{' for lookup file-or-query arg";
4785         goto EXPAND_FAILED_CURLY;
4786         }
4787       if (!(filename = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok)))
4788         goto EXPAND_FAILED;
4789       if (*s++ != '}')
4790         {
4791         expand_string_message = US"missing '}' closing lookup file-or-query arg";
4792         goto EXPAND_FAILED_CURLY;
4793         }
4794       while (isspace(*s)) s++;
4795
4796       /* If this isn't a single-key+file lookup, re-arrange the variables
4797       to be appropriate for the search_ functions. For query-style lookups,
4798       there is just a "key", and no file name. For the special query-style +
4799       file types, the query (i.e. "key") starts with a file name. */
4800
4801       if (!key)
4802         {
4803         while (isspace(*filename)) filename++;
4804         key = filename;
4805
4806         if (mac_islookup(stype, lookup_querystyle))
4807           filename = NULL;
4808         else
4809           {
4810           if (*filename != '/')
4811             {
4812             expand_string_message = string_sprintf(
4813               "absolute file name expected for \"%s\" lookup", name);
4814             goto EXPAND_FAILED;
4815             }
4816           while (*key != 0 && !isspace(*key)) key++;
4817           if (*key != 0) *key++ = 0;
4818           }
4819         }
4820
4821       /* If skipping, don't do the next bit - just lookup_value == NULL, as if
4822       the entry was not found. Note that there is no search_close() function.
4823       Files are left open in case of re-use. At suitable places in higher logic,
4824       search_tidyup() is called to tidy all open files. This can save opening
4825       the same file several times. However, files may also get closed when
4826       others are opened, if too many are open at once. The rule is that a
4827       handle should not be used after a second search_open().
4828
4829       Request that a partial search sets up $1 and maybe $2 by passing
4830       expand_setup containing zero. If its value changes, reset expand_nmax,
4831       since new variables will have been set. Note that at the end of this
4832       "lookup" section, the old numeric variables are restored. */
4833
4834       if (skipping)
4835         lookup_value = NULL;
4836       else
4837         {
4838         void *handle = search_open(filename, stype, 0, NULL, NULL);
4839         if (!handle)
4840           {
4841           expand_string_message = search_error_message;
4842           goto EXPAND_FAILED;
4843           }
4844         lookup_value = search_find(handle, filename, key, partial, affix,
4845           affixlen, starflags, &expand_setup);
4846         if (f.search_find_defer)
4847           {
4848           expand_string_message =
4849             string_sprintf("lookup of \"%s\" gave DEFER: %s",
4850               string_printing2(key, FALSE), search_error_message);
4851           goto EXPAND_FAILED;
4852           }
4853         if (expand_setup > 0) expand_nmax = expand_setup;
4854         }
4855
4856       /* The handling of "yes" and "no" result strings is now in a separate
4857       function that is also used by ${if} and ${extract}. */
4858
4859       switch(process_yesno(
4860                skipping,                     /* were previously skipping */
4861                lookup_value != NULL,         /* success/failure indicator */
4862                save_lookup_value,            /* value to reset for string2 */
4863                &s,                           /* input pointer */
4864                &yield,                       /* output pointer */
4865                US"lookup",                   /* condition type */
4866                &resetok))
4867         {
4868         case 1: goto EXPAND_FAILED;          /* when all is well, the */
4869         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
4870         }
4871
4872       /* Restore external setting of expansion variables for carrying on
4873       at this level, and continue. */
4874
4875       restore_expand_strings(save_expand_nmax, save_expand_nstring,
4876         save_expand_nlength);
4877       continue;
4878       }
4879
4880     /* If Perl support is configured, handle calling embedded perl subroutines,
4881     unless locked out at this time. Syntax is ${perl{sub}} or ${perl{sub}{arg}}
4882     or ${perl{sub}{arg1}{arg2}} or up to a maximum of EXIM_PERL_MAX_ARGS
4883     arguments (defined below). */
4884
4885     #define EXIM_PERL_MAX_ARGS 8
4886
4887     case EITEM_PERL:
4888     #ifndef EXIM_PERL
4889     expand_string_message = US"\"${perl\" encountered, but this facility "      /*}*/
4890       "is not included in this binary";
4891     goto EXPAND_FAILED;
4892
4893     #else   /* EXIM_PERL */
4894       {
4895       uschar *sub_arg[EXIM_PERL_MAX_ARGS + 2];
4896       gstring *new_yield;
4897
4898       if ((expand_forbid & RDO_PERL) != 0)
4899         {
4900         expand_string_message = US"Perl calls are not permitted";
4901         goto EXPAND_FAILED;
4902         }
4903
4904       switch(read_subs(sub_arg, EXIM_PERL_MAX_ARGS + 1, 1, &s, skipping, TRUE,
4905            US"perl", &resetok))
4906         {
4907         case 1: goto EXPAND_FAILED_CURLY;
4908         case 2:
4909         case 3: goto EXPAND_FAILED;
4910         }
4911
4912       /* If skipping, we don't actually do anything */
4913
4914       if (skipping) continue;
4915
4916       /* Start the interpreter if necessary */
4917
4918       if (!opt_perl_started)
4919         {
4920         uschar *initerror;
4921         if (!opt_perl_startup)
4922           {
4923           expand_string_message = US"A setting of perl_startup is needed when "
4924             "using the Perl interpreter";
4925           goto EXPAND_FAILED;
4926           }
4927         DEBUG(D_any) debug_printf("Starting Perl interpreter\n");
4928         if ((initerror = init_perl(opt_perl_startup)))
4929           {
4930           expand_string_message =
4931             string_sprintf("error in perl_startup code: %s\n", initerror);
4932           goto EXPAND_FAILED;
4933           }
4934         opt_perl_started = TRUE;
4935         }
4936
4937       /* Call the function */
4938
4939       sub_arg[EXIM_PERL_MAX_ARGS + 1] = NULL;
4940       new_yield = call_perl_cat(yield, &expand_string_message,
4941         sub_arg[0], sub_arg + 1);
4942
4943       /* NULL yield indicates failure; if the message pointer has been set to
4944       NULL, the yield was undef, indicating a forced failure. Otherwise the
4945       message will indicate some kind of Perl error. */
4946
4947       if (!new_yield)
4948         {
4949         if (!expand_string_message)
4950           {
4951           expand_string_message =
4952             string_sprintf("Perl subroutine \"%s\" returned undef to force "
4953               "failure", sub_arg[0]);
4954           f.expand_string_forcedfail = TRUE;
4955           }
4956         goto EXPAND_FAILED;
4957         }
4958
4959       /* Yield succeeded. Ensure forcedfail is unset, just in case it got
4960       set during a callback from Perl. */
4961
4962       f.expand_string_forcedfail = FALSE;
4963       yield = new_yield;
4964       continue;
4965       }
4966     #endif /* EXIM_PERL */
4967
4968     /* Transform email address to "prvs" scheme to use
4969        as BATV-signed return path */
4970
4971     case EITEM_PRVS:
4972       {
4973       uschar *sub_arg[3];
4974       uschar *p,*domain;
4975
4976       switch(read_subs(sub_arg, 3, 2, &s, skipping, TRUE, US"prvs", &resetok))
4977         {
4978         case 1: goto EXPAND_FAILED_CURLY;
4979         case 2:
4980         case 3: goto EXPAND_FAILED;
4981         }
4982
4983       /* If skipping, we don't actually do anything */
4984       if (skipping) continue;
4985
4986       /* sub_arg[0] is the address */
4987       if (  !(domain = Ustrrchr(sub_arg[0],'@'))
4988          || domain == sub_arg[0] || Ustrlen(domain) == 1)
4989         {
4990         expand_string_message = US"prvs first argument must be a qualified email address";
4991         goto EXPAND_FAILED;
4992         }
4993
4994       /* Calculate the hash. The third argument must be a single-digit
4995       key number, or unset. */
4996
4997       if (  sub_arg[2]
4998          && (!isdigit(sub_arg[2][0]) || sub_arg[2][1] != 0))
4999         {
5000         expand_string_message = US"prvs third argument must be a single digit";
5001         goto EXPAND_FAILED;
5002         }
5003
5004       p = prvs_hmac_sha1(sub_arg[0], sub_arg[1], sub_arg[2], prvs_daystamp(7));
5005       if (!p)
5006         {
5007         expand_string_message = US"prvs hmac-sha1 conversion failed";
5008         goto EXPAND_FAILED;
5009         }
5010
5011       /* Now separate the domain from the local part */
5012       *domain++ = '\0';
5013
5014       yield = string_catn(yield, US"prvs=", 5);
5015       yield = string_catn(yield, sub_arg[2] ? sub_arg[2] : US"0", 1);
5016       yield = string_catn(yield, prvs_daystamp(7), 3);
5017       yield = string_catn(yield, p, 6);
5018       yield = string_catn(yield, US"=", 1);
5019       yield = string_cat (yield, sub_arg[0]);
5020       yield = string_catn(yield, US"@", 1);
5021       yield = string_cat (yield, domain);
5022
5023       continue;
5024       }
5025
5026     /* Check a prvs-encoded address for validity */
5027
5028     case EITEM_PRVSCHECK:
5029       {
5030       uschar *sub_arg[3];
5031       gstring * g;
5032       const pcre *re;
5033       uschar *p;
5034
5035       /* TF: Ugliness: We want to expand parameter 1 first, then set
5036          up expansion variables that are used in the expansion of
5037          parameter 2. So we clone the string for the first
5038          expansion, where we only expand parameter 1.
5039
5040          PH: Actually, that isn't necessary. The read_subs() function is
5041          designed to work this way for the ${if and ${lookup expansions. I've
5042          tidied the code.
5043       */
5044
5045       /* Reset expansion variables */
5046       prvscheck_result = NULL;
5047       prvscheck_address = NULL;
5048       prvscheck_keynum = NULL;
5049
5050       switch(read_subs(sub_arg, 1, 1, &s, skipping, FALSE, US"prvs", &resetok))
5051         {
5052         case 1: goto EXPAND_FAILED_CURLY;
5053         case 2:
5054         case 3: goto EXPAND_FAILED;
5055         }
5056
5057       re = regex_must_compile(US"^prvs\\=([0-9])([0-9]{3})([A-F0-9]{6})\\=(.+)\\@(.+)$",
5058                               TRUE,FALSE);
5059
5060       if (regex_match_and_setup(re,sub_arg[0],0,-1))
5061         {
5062         uschar *local_part = string_copyn(expand_nstring[4],expand_nlength[4]);
5063         uschar *key_num = string_copyn(expand_nstring[1],expand_nlength[1]);
5064         uschar *daystamp = string_copyn(expand_nstring[2],expand_nlength[2]);
5065         uschar *hash = string_copyn(expand_nstring[3],expand_nlength[3]);
5066         uschar *domain = string_copyn(expand_nstring[5],expand_nlength[5]);
5067
5068         DEBUG(D_expand) debug_printf_indent("prvscheck localpart: %s\n", local_part);
5069         DEBUG(D_expand) debug_printf_indent("prvscheck key number: %s\n", key_num);
5070         DEBUG(D_expand) debug_printf_indent("prvscheck daystamp: %s\n", daystamp);
5071         DEBUG(D_expand) debug_printf_indent("prvscheck hash: %s\n", hash);
5072         DEBUG(D_expand) debug_printf_indent("prvscheck domain: %s\n", domain);
5073
5074         /* Set up expansion variables */
5075         g = string_cat (NULL, local_part);
5076         g = string_catn(g, US"@", 1);
5077         g = string_cat (g, domain);
5078         prvscheck_address = string_from_gstring(g);
5079         prvscheck_keynum = string_copy(key_num);
5080
5081         /* Now expand the second argument */
5082         switch(read_subs(sub_arg, 1, 1, &s, skipping, FALSE, US"prvs", &resetok))
5083           {
5084           case 1: goto EXPAND_FAILED_CURLY;
5085           case 2:
5086           case 3: goto EXPAND_FAILED;
5087           }
5088
5089         /* Now we have the key and can check the address. */
5090
5091         p = prvs_hmac_sha1(prvscheck_address, sub_arg[0], prvscheck_keynum,
5092           daystamp);
5093
5094         if (!p)
5095           {
5096           expand_string_message = US"hmac-sha1 conversion failed";
5097           goto EXPAND_FAILED;
5098           }
5099
5100         DEBUG(D_expand) debug_printf_indent("prvscheck: received hash is %s\n", hash);
5101         DEBUG(D_expand) debug_printf_indent("prvscheck:      own hash is %s\n", p);
5102
5103         if (Ustrcmp(p,hash) == 0)
5104           {
5105           /* Success, valid BATV address. Now check the expiry date. */
5106           uschar *now = prvs_daystamp(0);
5107           unsigned int inow = 0,iexpire = 1;
5108
5109           (void)sscanf(CS now,"%u",&inow);
5110           (void)sscanf(CS daystamp,"%u",&iexpire);
5111
5112           /* When "iexpire" is < 7, a "flip" has occurred.
5113              Adjust "inow" accordingly. */
5114           if ( (iexpire < 7) && (inow >= 993) ) inow = 0;
5115
5116           if (iexpire >= inow)
5117             {
5118             prvscheck_result = US"1";
5119             DEBUG(D_expand) debug_printf_indent("prvscheck: success, $pvrs_result set to 1\n");
5120             }
5121           else
5122             {
5123             prvscheck_result = NULL;
5124             DEBUG(D_expand) debug_printf_indent("prvscheck: signature expired, $pvrs_result unset\n");
5125             }
5126           }
5127         else
5128           {
5129           prvscheck_result = NULL;
5130           DEBUG(D_expand) debug_printf_indent("prvscheck: hash failure, $pvrs_result unset\n");
5131           }
5132
5133         /* Now expand the final argument. We leave this till now so that
5134         it can include $prvscheck_result. */
5135
5136         switch(read_subs(sub_arg, 1, 0, &s, skipping, TRUE, US"prvs", &resetok))
5137           {
5138           case 1: goto EXPAND_FAILED_CURLY;
5139           case 2:
5140           case 3: goto EXPAND_FAILED;
5141           }
5142
5143         yield = string_cat(yield,
5144           !sub_arg[0] || !*sub_arg[0] ? prvscheck_address : sub_arg[0]);
5145
5146         /* Reset the "internal" variables afterwards, because they are in
5147         dynamic store that will be reclaimed if the expansion succeeded. */
5148
5149         prvscheck_address = NULL;
5150         prvscheck_keynum = NULL;
5151         }
5152       else
5153         /* Does not look like a prvs encoded address, return the empty string.
5154            We need to make sure all subs are expanded first, so as to skip over
5155            the entire item. */
5156
5157         switch(read_subs(sub_arg, 2, 1, &s, skipping, TRUE, US"prvs", &resetok))
5158           {
5159           case 1: goto EXPAND_FAILED_CURLY;
5160           case 2:
5161           case 3: goto EXPAND_FAILED;
5162           }
5163
5164       continue;
5165       }
5166
5167     /* Handle "readfile" to insert an entire file */
5168
5169     case EITEM_READFILE:
5170       {
5171       FILE *f;
5172       uschar *sub_arg[2];
5173
5174       if ((expand_forbid & RDO_READFILE) != 0)
5175         {
5176         expand_string_message = US"file insertions are not permitted";
5177         goto EXPAND_FAILED;
5178         }
5179
5180       switch(read_subs(sub_arg, 2, 1, &s, skipping, TRUE, US"readfile", &resetok))
5181         {
5182         case 1: goto EXPAND_FAILED_CURLY;
5183         case 2:
5184         case 3: goto EXPAND_FAILED;
5185         }
5186
5187       /* If skipping, we don't actually do anything */
5188
5189       if (skipping) continue;
5190
5191       /* Open the file and read it */
5192
5193       if (!(f = Ufopen(sub_arg[0], "rb")))
5194         {
5195         expand_string_message = string_open_failed(errno, "%s", sub_arg[0]);
5196         goto EXPAND_FAILED;
5197         }
5198
5199       yield = cat_file(f, yield, sub_arg[1]);
5200       (void)fclose(f);
5201       continue;
5202       }
5203
5204     /* Handle "readsocket" to insert data from a socket, either
5205     Inet or Unix domain */
5206
5207     case EITEM_READSOCK:
5208       {
5209       client_conn_ctx cctx;
5210       int timeout = 5;
5211       int save_ptr = yield->ptr;
5212       FILE * fp = NULL;
5213       uschar * arg;
5214       uschar * sub_arg[4];
5215       uschar * server_name = NULL;
5216       host_item host;
5217       BOOL do_shutdown = TRUE;
5218       BOOL do_tls = FALSE;      /* Only set under ! DISABLE_TLS */
5219       blob reqstr;
5220
5221       if (expand_forbid & RDO_READSOCK)
5222         {
5223         expand_string_message = US"socket insertions are not permitted";
5224         goto EXPAND_FAILED;
5225         }
5226
5227       /* Read up to 4 arguments, but don't do the end of item check afterwards,
5228       because there may be a string for expansion on failure. */
5229
5230       switch(read_subs(sub_arg, 4, 2, &s, skipping, FALSE, US"readsocket", &resetok))
5231         {
5232         case 1: goto EXPAND_FAILED_CURLY;
5233         case 2:                             /* Won't occur: no end check */
5234         case 3: goto EXPAND_FAILED;
5235         }
5236
5237       /* Grab the request string, if any */
5238
5239       reqstr.data = sub_arg[1];
5240       reqstr.len = Ustrlen(sub_arg[1]);
5241
5242       /* Sort out timeout, if given.  The second arg is a list with the first element
5243       being a time value.  Any more are options of form "name=value".  Currently the
5244       only option recognised is "shutdown". */
5245
5246       if (sub_arg[2])
5247         {
5248         const uschar * list = sub_arg[2];
5249         uschar * item;
5250         int sep = 0;
5251
5252         item = string_nextinlist(&list, &sep, NULL, 0);
5253         if ((timeout = readconf_readtime(item, 0, FALSE)) < 0)
5254           {
5255           expand_string_message = string_sprintf("bad time value %s", item);
5256           goto EXPAND_FAILED;
5257           }
5258
5259         while ((item = string_nextinlist(&list, &sep, NULL, 0)))
5260           if (Ustrncmp(item, US"shutdown=", 9) == 0)
5261             { if (Ustrcmp(item + 9, US"no") == 0) do_shutdown = FALSE; }
5262 #ifndef DISABLE_TLS
5263           else if (Ustrncmp(item, US"tls=", 4) == 0)
5264             { if (Ustrcmp(item + 9, US"no") != 0) do_tls = TRUE; }
5265 #endif
5266         }
5267       else
5268         sub_arg[3] = NULL;                     /* No eol if no timeout */
5269
5270       /* If skipping, we don't actually do anything. Otherwise, arrange to
5271       connect to either an IP or a Unix socket. */
5272
5273       if (!skipping)
5274         {
5275         /* Handle an IP (internet) domain */
5276
5277         if (Ustrncmp(sub_arg[0], "inet:", 5) == 0)
5278           {
5279           int port;
5280           uschar * port_name;
5281
5282           server_name = sub_arg[0] + 5;
5283           port_name = Ustrrchr(server_name, ':');
5284
5285           /* Sort out the port */
5286
5287           if (!port_name)
5288             {
5289             expand_string_message =
5290               string_sprintf("missing port for readsocket %s", sub_arg[0]);
5291             goto EXPAND_FAILED;
5292             }
5293           *port_name++ = 0;           /* Terminate server name */
5294
5295           if (isdigit(*port_name))
5296             {
5297             uschar *end;
5298             port = Ustrtol(port_name, &end, 0);
5299             if (end != port_name + Ustrlen(port_name))
5300               {
5301               expand_string_message =
5302                 string_sprintf("invalid port number %s", port_name);
5303               goto EXPAND_FAILED;
5304               }
5305             }
5306           else
5307             {
5308             struct servent *service_info = getservbyname(CS port_name, "tcp");
5309             if (!service_info)
5310               {
5311               expand_string_message = string_sprintf("unknown port \"%s\"",
5312                 port_name);
5313               goto EXPAND_FAILED;
5314               }
5315             port = ntohs(service_info->s_port);
5316             }
5317
5318           /*XXX we trust that the request is idempotent for TFO.  Hmm. */
5319           cctx.sock = ip_connectedsocket(SOCK_STREAM, server_name, port, port,
5320                   timeout, &host, &expand_string_message,
5321                   do_tls ? NULL : &reqstr);
5322           callout_address = NULL;
5323           if (cctx.sock < 0)
5324             goto SOCK_FAIL;
5325           if (!do_tls)
5326             reqstr.len = 0;
5327           }
5328
5329         /* Handle a Unix domain socket */
5330
5331         else
5332           {
5333           struct sockaddr_un sockun;         /* don't call this "sun" ! */
5334           int rc;
5335
5336           if ((cctx.sock = socket(PF_UNIX, SOCK_STREAM, 0)) == -1)
5337             {
5338             expand_string_message = string_sprintf("failed to create socket: %s",
5339               strerror(errno));
5340             goto SOCK_FAIL;
5341             }
5342
5343           sockun.sun_family = AF_UNIX;
5344           sprintf(sockun.sun_path, "%.*s", (int)(sizeof(sockun.sun_path)-1),
5345             sub_arg[0]);
5346           server_name = US sockun.sun_path;
5347
5348           sigalrm_seen = FALSE;
5349           ALARM(timeout);
5350           rc = connect(cctx.sock, (struct sockaddr *)(&sockun), sizeof(sockun));
5351           ALARM_CLR(0);
5352           if (sigalrm_seen)
5353             {
5354             expand_string_message = US "socket connect timed out";
5355             goto SOCK_FAIL;
5356             }
5357           if (rc < 0)
5358             {
5359             expand_string_message = string_sprintf("failed to connect to socket "
5360               "%s: %s", sub_arg[0], strerror(errno));
5361             goto SOCK_FAIL;
5362             }
5363           host.name = server_name;
5364           host.address = US"";
5365           }
5366
5367         DEBUG(D_expand) debug_printf_indent("connected to socket %s\n", sub_arg[0]);
5368
5369 #ifndef DISABLE_TLS
5370         if (do_tls)
5371           {
5372           smtp_connect_args conn_args = {.host = &host };
5373           tls_support tls_dummy = {.sni=NULL};
5374           uschar * errstr;
5375
5376           if (!tls_client_start(&cctx, &conn_args, NULL, &tls_dummy, &errstr))
5377             {
5378             expand_string_message = string_sprintf("TLS connect failed: %s", errstr);
5379             goto SOCK_FAIL;
5380             }
5381           }
5382 #endif
5383
5384         /* Allow sequencing of test actions */
5385         testharness_pause_ms(100);
5386
5387         /* Write the request string, if not empty or already done */
5388
5389         if (reqstr.len)
5390           {
5391           DEBUG(D_expand) debug_printf_indent("writing \"%s\" to socket\n",
5392             reqstr.data);
5393           if ( (
5394 #ifndef DISABLE_TLS
5395               do_tls ? tls_write(cctx.tls_ctx, reqstr.data, reqstr.len, FALSE) :
5396 #endif
5397                         write(cctx.sock, reqstr.data, reqstr.len)) != reqstr.len)
5398             {
5399             expand_string_message = string_sprintf("request write to socket "
5400               "failed: %s", strerror(errno));
5401             goto SOCK_FAIL;
5402             }
5403           }
5404
5405         /* Shut down the sending side of the socket. This helps some servers to
5406         recognise that it is their turn to do some work. Just in case some
5407         system doesn't have this function, make it conditional. */
5408
5409 #ifdef SHUT_WR
5410         if (!do_tls && do_shutdown) shutdown(cctx.sock, SHUT_WR);
5411 #endif
5412
5413         testharness_pause_ms(100);
5414
5415         /* Now we need to read from the socket, under a timeout. The function
5416         that reads a file can be used. */
5417
5418         if (!do_tls)
5419           fp = fdopen(cctx.sock, "rb");
5420         sigalrm_seen = FALSE;
5421         ALARM(timeout);
5422         yield =
5423 #ifndef DISABLE_TLS
5424           do_tls ? cat_file_tls(cctx.tls_ctx, yield, sub_arg[3]) :
5425 #endif
5426                     cat_file(fp, yield, sub_arg[3]);
5427         ALARM_CLR(0);
5428
5429 #ifndef DISABLE_TLS
5430         if (do_tls)
5431           {
5432           tls_close(cctx.tls_ctx, TRUE);
5433           close(cctx.sock);
5434           }
5435         else
5436 #endif
5437           (void)fclose(fp);
5438
5439         /* After a timeout, we restore the pointer in the result, that is,
5440         make sure we add nothing from the socket. */
5441
5442         if (sigalrm_seen)
5443           {
5444           yield->ptr = save_ptr;
5445           expand_string_message = US "socket read timed out";
5446           goto SOCK_FAIL;
5447           }
5448         }
5449
5450       /* The whole thing has worked (or we were skipping). If there is a
5451       failure string following, we need to skip it. */
5452
5453       if (*s == '{')
5454         {
5455         if (!expand_string_internal(s+1, TRUE, &s, TRUE, TRUE, &resetok))
5456           goto EXPAND_FAILED;
5457         if (*s++ != '}')
5458           {
5459           expand_string_message = US"missing '}' closing failstring for readsocket";
5460           goto EXPAND_FAILED_CURLY;
5461           }
5462         while (isspace(*s)) s++;
5463         }
5464
5465     READSOCK_DONE:
5466       if (*s++ != '}')
5467         {
5468         expand_string_message = US"missing '}' closing readsocket";
5469         goto EXPAND_FAILED_CURLY;
5470         }
5471       continue;
5472
5473       /* Come here on failure to create socket, connect socket, write to the
5474       socket, or timeout on reading. If another substring follows, expand and
5475       use it. Otherwise, those conditions give expand errors. */
5476
5477     SOCK_FAIL:
5478       if (*s != '{') goto EXPAND_FAILED;
5479       DEBUG(D_any) debug_printf("%s\n", expand_string_message);
5480       if (!(arg = expand_string_internal(s+1, TRUE, &s, FALSE, TRUE, &resetok)))
5481         goto EXPAND_FAILED;
5482       yield = string_cat(yield, arg);
5483       if (*s++ != '}')
5484         {
5485         expand_string_message = US"missing '}' closing failstring for readsocket";
5486         goto EXPAND_FAILED_CURLY;
5487         }
5488       while (isspace(*s)) s++;
5489       goto READSOCK_DONE;
5490       }
5491
5492     /* Handle "run" to execute a program. */
5493
5494     case EITEM_RUN:
5495       {
5496       FILE *f;
5497       uschar *arg;
5498       const uschar **argv;
5499       pid_t pid;
5500       int fd_in, fd_out;
5501
5502       if ((expand_forbid & RDO_RUN) != 0)
5503         {
5504         expand_string_message = US"running a command is not permitted";
5505         goto EXPAND_FAILED;
5506         }
5507
5508       while (isspace(*s)) s++;
5509       if (*s != '{')
5510         {
5511         expand_string_message = US"missing '{' for command arg of run";
5512         goto EXPAND_FAILED_CURLY;
5513         }
5514       if (!(arg = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok)))
5515         goto EXPAND_FAILED;
5516       while (isspace(*s)) s++;
5517       if (*s++ != '}')
5518         {
5519         expand_string_message = US"missing '}' closing command arg of run";
5520         goto EXPAND_FAILED_CURLY;
5521         }
5522
5523       if (skipping)   /* Just pretend it worked when we're skipping */
5524         {
5525         runrc = 0;
5526         lookup_value = NULL;
5527         }
5528       else
5529         {
5530         if (!transport_set_up_command(&argv,    /* anchor for arg list */
5531             arg,                                /* raw command */
5532             FALSE,                              /* don't expand the arguments */
5533             0,                                  /* not relevant when... */
5534             NULL,                               /* no transporting address */
5535             US"${run} expansion",               /* for error messages */
5536             &expand_string_message))            /* where to put error message */
5537           goto EXPAND_FAILED;
5538
5539         /* Create the child process, making it a group leader. */
5540
5541         if ((pid = child_open(USS argv, NULL, 0077, &fd_in, &fd_out, TRUE)) < 0)
5542           {
5543           expand_string_message =
5544             string_sprintf("couldn't create child process: %s", strerror(errno));
5545           goto EXPAND_FAILED;
5546           }
5547
5548         /* Nothing is written to the standard input. */
5549
5550         (void)close(fd_in);
5551
5552         /* Read the pipe to get the command's output into $value (which is kept
5553         in lookup_value). Read during execution, so that if the output exceeds
5554         the OS pipe buffer limit, we don't block forever. Remember to not release
5555         memory just allocated for $value. */
5556
5557         resetok = FALSE;
5558         f = fdopen(fd_out, "rb");
5559         sigalrm_seen = FALSE;
5560         ALARM(60);
5561         lookup_value = string_from_gstring(cat_file(f, NULL, NULL));
5562         ALARM_CLR(0);
5563         (void)fclose(f);
5564
5565         /* Wait for the process to finish, applying the timeout, and inspect its
5566         return code for serious disasters. Simple non-zero returns are passed on.
5567         */
5568
5569         if (sigalrm_seen || (runrc = child_close(pid, 30)) < 0)
5570           {
5571           if (sigalrm_seen || runrc == -256)
5572             {
5573             expand_string_message = US"command timed out";
5574             killpg(pid, SIGKILL);       /* Kill the whole process group */
5575             }
5576
5577           else if (runrc == -257)
5578             expand_string_message = string_sprintf("wait() failed: %s",
5579               strerror(errno));
5580
5581           else
5582             expand_string_message = string_sprintf("command killed by signal %d",
5583               -runrc);
5584
5585           goto EXPAND_FAILED;
5586           }
5587         }
5588
5589       /* Process the yes/no strings; $value may be useful in both cases */
5590
5591       switch(process_yesno(
5592                skipping,                     /* were previously skipping */
5593                runrc == 0,                   /* success/failure indicator */
5594                lookup_value,                 /* value to reset for string2 */
5595                &s,                           /* input pointer */
5596                &yield,                       /* output pointer */
5597                US"run",                      /* condition type */
5598                &resetok))
5599         {
5600         case 1: goto EXPAND_FAILED;          /* when all is well, the */
5601         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
5602         }
5603
5604       continue;
5605       }
5606
5607     /* Handle character translation for "tr" */
5608
5609     case EITEM_TR:
5610       {
5611       int oldptr = yield->ptr;
5612       int o2m;
5613       uschar *sub[3];
5614
5615       switch(read_subs(sub, 3, 3, &s, skipping, TRUE, US"tr", &resetok))
5616         {
5617         case 1: goto EXPAND_FAILED_CURLY;
5618         case 2:
5619         case 3: goto EXPAND_FAILED;
5620         }
5621
5622       yield = string_cat(yield, sub[0]);
5623       o2m = Ustrlen(sub[2]) - 1;
5624
5625       if (o2m >= 0) for (; oldptr < yield->ptr; oldptr++)
5626         {
5627         uschar *m = Ustrrchr(sub[1], yield->s[oldptr]);
5628         if (m)
5629           {
5630           int o = m - sub[1];
5631           yield->s[oldptr] = sub[2][(o < o2m)? o : o2m];
5632           }
5633         }
5634
5635       continue;
5636       }
5637
5638     /* Handle "hash", "length", "nhash", and "substr" when they are given with
5639     expanded arguments. */
5640
5641     case EITEM_HASH:
5642     case EITEM_LENGTH:
5643     case EITEM_NHASH:
5644     case EITEM_SUBSTR:
5645       {
5646       int len;
5647       uschar *ret;
5648       int val[2] = { 0, -1 };
5649       uschar *sub[3];
5650
5651       /* "length" takes only 2 arguments whereas the others take 2 or 3.
5652       Ensure that sub[2] is set in the ${length } case. */
5653
5654       sub[2] = NULL;
5655       switch(read_subs(sub, (item_type == EITEM_LENGTH)? 2:3, 2, &s, skipping,
5656              TRUE, name, &resetok))
5657         {
5658         case 1: goto EXPAND_FAILED_CURLY;
5659         case 2:
5660         case 3: goto EXPAND_FAILED;
5661         }
5662
5663       /* Juggle the arguments if there are only two of them: always move the
5664       string to the last position and make ${length{n}{str}} equivalent to
5665       ${substr{0}{n}{str}}. See the defaults for val[] above. */
5666
5667       if (!sub[2])
5668         {
5669         sub[2] = sub[1];
5670         sub[1] = NULL;
5671         if (item_type == EITEM_LENGTH)
5672           {
5673           sub[1] = sub[0];
5674           sub[0] = NULL;
5675           }
5676         }
5677
5678       for (int i = 0; i < 2; i++) if (sub[i])
5679         {
5680         val[i] = (int)Ustrtol(sub[i], &ret, 10);
5681         if (*ret != 0 || (i != 0 && val[i] < 0))
5682           {
5683           expand_string_message = string_sprintf("\"%s\" is not a%s number "
5684             "(in \"%s\" expansion)", sub[i], (i != 0)? " positive" : "", name);
5685           goto EXPAND_FAILED;
5686           }
5687         }
5688
5689       ret =
5690         item_type == EITEM_HASH
5691         ?  compute_hash(sub[2], val[0], val[1], &len)
5692         : item_type == EITEM_NHASH
5693         ? compute_nhash(sub[2], val[0], val[1], &len)
5694         : extract_substr(sub[2], val[0], val[1], &len);
5695       if (!ret)
5696         goto EXPAND_FAILED;
5697       yield = string_catn(yield, ret, len);
5698       continue;
5699       }
5700
5701     /* Handle HMAC computation: ${hmac{<algorithm>}{<secret>}{<text>}}
5702     This code originally contributed by Steve Haslam. It currently supports
5703     the use of MD5 and SHA-1 hashes.
5704
5705     We need some workspace that is large enough to handle all the supported
5706     hash types. Use macros to set the sizes rather than be too elaborate. */
5707
5708     #define MAX_HASHLEN      20
5709     #define MAX_HASHBLOCKLEN 64
5710
5711     case EITEM_HMAC:
5712       {
5713       uschar *sub[3];
5714       md5 md5_base;
5715       hctx sha1_ctx;
5716       void *use_base;
5717       int type;
5718       int hashlen;      /* Number of octets for the hash algorithm's output */
5719       int hashblocklen; /* Number of octets the hash algorithm processes */
5720       uschar *keyptr, *p;
5721       unsigned int keylen;
5722
5723       uschar keyhash[MAX_HASHLEN];
5724       uschar innerhash[MAX_HASHLEN];
5725       uschar finalhash[MAX_HASHLEN];
5726       uschar finalhash_hex[2*MAX_HASHLEN];
5727       uschar innerkey[MAX_HASHBLOCKLEN];
5728       uschar outerkey[MAX_HASHBLOCKLEN];
5729
5730       switch (read_subs(sub, 3, 3, &s, skipping, TRUE, name, &resetok))
5731         {
5732         case 1: goto EXPAND_FAILED_CURLY;
5733         case 2:
5734         case 3: goto EXPAND_FAILED;
5735         }
5736
5737       if (!skipping)
5738         {
5739         if (Ustrcmp(sub[0], "md5") == 0)
5740           {
5741           type = HMAC_MD5;
5742           use_base = &md5_base;
5743           hashlen = 16;
5744           hashblocklen = 64;
5745           }
5746         else if (Ustrcmp(sub[0], "sha1") == 0)
5747           {
5748           type = HMAC_SHA1;
5749           use_base = &sha1_ctx;
5750           hashlen = 20;
5751           hashblocklen = 64;
5752           }
5753         else
5754           {
5755           expand_string_message =
5756             string_sprintf("hmac algorithm \"%s\" is not recognised", sub[0]);
5757           goto EXPAND_FAILED;
5758           }
5759
5760         keyptr = sub[1];
5761         keylen = Ustrlen(keyptr);
5762
5763         /* If the key is longer than the hash block length, then hash the key
5764         first */
5765
5766         if (keylen > hashblocklen)
5767           {
5768           chash_start(type, use_base);
5769           chash_end(type, use_base, keyptr, keylen, keyhash);
5770           keyptr = keyhash;
5771           keylen = hashlen;
5772           }
5773
5774         /* Now make the inner and outer key values */
5775
5776         memset(innerkey, 0x36, hashblocklen);
5777         memset(outerkey, 0x5c, hashblocklen);
5778
5779         for (int i = 0; i < keylen; i++)
5780           {
5781           innerkey[i] ^= keyptr[i];
5782           outerkey[i] ^= keyptr[i];
5783           }
5784
5785         /* Now do the hashes */
5786
5787         chash_start(type, use_base);
5788         chash_mid(type, use_base, innerkey);
5789         chash_end(type, use_base, sub[2], Ustrlen(sub[2]), innerhash);
5790
5791         chash_start(type, use_base);
5792         chash_mid(type, use_base, outerkey);
5793         chash_end(type, use_base, innerhash, hashlen, finalhash);
5794
5795         /* Encode the final hash as a hex string */
5796
5797         p = finalhash_hex;
5798         for (int i = 0; i < hashlen; i++)
5799           {
5800           *p++ = hex_digits[(finalhash[i] & 0xf0) >> 4];
5801           *p++ = hex_digits[finalhash[i] & 0x0f];
5802           }
5803
5804         DEBUG(D_any) debug_printf("HMAC[%s](%.*s,%s)=%.*s\n",
5805           sub[0], (int)keylen, keyptr, sub[2], hashlen*2, finalhash_hex);
5806
5807         yield = string_catn(yield, finalhash_hex, hashlen*2);
5808         }
5809       continue;
5810       }
5811
5812     /* Handle global substitution for "sg" - like Perl's s/xxx/yyy/g operator.
5813     We have to save the numerical variables and restore them afterwards. */
5814
5815     case EITEM_SG:
5816       {
5817       const pcre *re;
5818       int moffset, moffsetextra, slen;
5819       int roffset;
5820       int emptyopt;
5821       const uschar *rerror;
5822       uschar *subject;
5823       uschar *sub[3];
5824       int save_expand_nmax =
5825         save_expand_strings(save_expand_nstring, save_expand_nlength);
5826
5827       switch(read_subs(sub, 3, 3, &s, skipping, TRUE, US"sg", &resetok))
5828         {
5829         case 1: goto EXPAND_FAILED_CURLY;
5830         case 2:
5831         case 3: goto EXPAND_FAILED;
5832         }
5833
5834       /* Compile the regular expression */
5835
5836       if (!(re = pcre_compile(CS sub[1], PCRE_COPT, (const char **)&rerror,
5837                               &roffset, NULL)))
5838         {
5839         expand_string_message = string_sprintf("regular expression error in "
5840           "\"%s\": %s at offset %d", sub[1], rerror, roffset);
5841         goto EXPAND_FAILED;
5842         }
5843
5844       /* Now run a loop to do the substitutions as often as necessary. It ends
5845       when there are no more matches. Take care over matches of the null string;
5846       do the same thing as Perl does. */
5847
5848       subject = sub[0];
5849       slen = Ustrlen(sub[0]);
5850       moffset = moffsetextra = 0;
5851       emptyopt = 0;
5852
5853       for (;;)
5854         {
5855         int ovector[3*(EXPAND_MAXN+1)];
5856         int n = pcre_exec(re, NULL, CS subject, slen, moffset + moffsetextra,
5857           PCRE_EOPT | emptyopt, ovector, nelem(ovector));
5858         uschar *insert;
5859
5860         /* No match - if we previously set PCRE_NOTEMPTY after a null match, this
5861         is not necessarily the end. We want to repeat the match from one
5862         character further along, but leaving the basic offset the same (for
5863         copying below). We can't be at the end of the string - that was checked
5864         before setting PCRE_NOTEMPTY. If PCRE_NOTEMPTY is not set, we are
5865         finished; copy the remaining string and end the loop. */
5866
5867         if (n < 0)
5868           {
5869           if (emptyopt != 0)
5870             {
5871             moffsetextra = 1;
5872             emptyopt = 0;
5873             continue;
5874             }
5875           yield = string_catn(yield, subject+moffset, slen-moffset);
5876           break;
5877           }
5878
5879         /* Match - set up for expanding the replacement. */
5880
5881         if (n == 0) n = EXPAND_MAXN + 1;
5882         expand_nmax = 0;
5883         for (int nn = 0; nn < n*2; nn += 2)
5884           {
5885           expand_nstring[expand_nmax] = subject + ovector[nn];
5886           expand_nlength[expand_nmax++] = ovector[nn+1] - ovector[nn];
5887           }
5888         expand_nmax--;
5889
5890         /* Copy the characters before the match, plus the expanded insertion. */
5891
5892         yield = string_catn(yield, subject + moffset, ovector[0] - moffset);
5893         if (!(insert = expand_string(sub[2])))
5894           goto EXPAND_FAILED;
5895         yield = string_cat(yield, insert);
5896
5897         moffset = ovector[1];
5898         moffsetextra = 0;
5899         emptyopt = 0;
5900
5901         /* If we have matched an empty string, first check to see if we are at
5902         the end of the subject. If so, the loop is over. Otherwise, mimic
5903         what Perl's /g options does. This turns out to be rather cunning. First
5904         we set PCRE_NOTEMPTY and PCRE_ANCHORED and try the match a non-empty
5905         string at the same point. If this fails (picked up above) we advance to
5906         the next character. */
5907
5908         if (ovector[0] == ovector[1])
5909           {
5910           if (ovector[0] == slen) break;
5911           emptyopt = PCRE_NOTEMPTY | PCRE_ANCHORED;
5912           }
5913         }
5914
5915       /* All done - restore numerical variables. */
5916
5917       restore_expand_strings(save_expand_nmax, save_expand_nstring,
5918         save_expand_nlength);
5919       continue;
5920       }
5921
5922     /* Handle keyed and numbered substring extraction. If the first argument
5923     consists entirely of digits, then a numerical extraction is assumed. */
5924
5925     case EITEM_EXTRACT:
5926       {
5927       int field_number = 1;
5928       BOOL field_number_set = FALSE;
5929       uschar *save_lookup_value = lookup_value;
5930       uschar *sub[3];
5931       int save_expand_nmax =
5932         save_expand_strings(save_expand_nstring, save_expand_nlength);
5933
5934       /* On reflection the original behaviour of extract-json for a string
5935       result, leaving it quoted, was a mistake.  But it was already published,
5936       hence the addition of jsons.  In a future major version, make json
5937       work like josons, and withdraw jsons. */
5938
5939       enum {extract_basic, extract_json, extract_jsons} fmt = extract_basic;
5940
5941       while (isspace(*s)) s++;
5942
5943       /* Check for a format-variant specifier */
5944
5945       if (*s != '{')                                    /*}*/
5946         if (Ustrncmp(s, "json", 4) == 0)
5947           if (*(s += 4) == 's')
5948             {fmt = extract_jsons; s++;}
5949           else
5950             fmt = extract_json;
5951
5952       /* While skipping we cannot rely on the data for expansions being
5953       available (eg. $item) hence cannot decide on numeric vs. keyed.
5954       Read a maximum of 5 arguments (including the yes/no) */
5955
5956       if (skipping)
5957         {
5958         for (int j = 5; j > 0 && *s == '{'; j--)                /*'}'*/
5959           {
5960           if (!expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok))
5961             goto EXPAND_FAILED;                                 /*'{'*/
5962           if (*s++ != '}')
5963             {
5964             expand_string_message = US"missing '{' for arg of extract";
5965             goto EXPAND_FAILED_CURLY;
5966             }
5967           while (isspace(*s)) s++;
5968           }
5969         if (  Ustrncmp(s, "fail", 4) == 0                       /*'{'*/
5970            && (s[4] == '}' || s[4] == ' ' || s[4] == '\t' || !s[4])
5971            )
5972           {
5973           s += 4;
5974           while (isspace(*s)) s++;
5975           }                                                     /*'{'*/
5976         if (*s != '}')
5977           {
5978           expand_string_message = US"missing '}' closing extract";
5979           goto EXPAND_FAILED_CURLY;
5980           }
5981         }
5982
5983       else for (int i = 0, j = 2; i < j; i++) /* Read the proper number of arguments */
5984         {
5985         while (isspace(*s)) s++;
5986         if (*s == '{')                                          /*'}'*/
5987           {
5988           if (!(sub[i] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok)))
5989             goto EXPAND_FAILED;                                 /*'{'*/
5990           if (*s++ != '}')
5991             {
5992             expand_string_message = string_sprintf(
5993               "missing '}' closing arg %d of extract", i+1);
5994             goto EXPAND_FAILED_CURLY;
5995             }
5996
5997           /* After removal of leading and trailing white space, the first
5998           argument must not be empty; if it consists entirely of digits
5999           (optionally preceded by a minus sign), this is a numerical
6000           extraction, and we expect 3 arguments (normal) or 2 (json). */
6001
6002           if (i == 0)
6003             {
6004             int len;
6005             int x = 0;
6006             uschar *p = sub[0];
6007
6008             while (isspace(*p)) p++;
6009             sub[0] = p;
6010
6011             len = Ustrlen(p);
6012             while (len > 0 && isspace(p[len-1])) len--;
6013             p[len] = 0;
6014
6015             if (*p == 0)
6016               {
6017               expand_string_message = US"first argument of \"extract\" must "
6018                 "not be empty";
6019               goto EXPAND_FAILED;
6020               }
6021
6022             if (*p == '-')
6023               {
6024               field_number = -1;
6025               p++;
6026               }
6027             while (*p != 0 && isdigit(*p)) x = x * 10 + *p++ - '0';
6028             if (*p == 0)
6029               {
6030               field_number *= x;
6031               if (fmt == extract_basic) j = 3;               /* Need 3 args */
6032               field_number_set = TRUE;
6033               }
6034             }
6035           }
6036         else
6037           {
6038           expand_string_message = string_sprintf(
6039             "missing '{' for arg %d of extract", i+1);
6040           goto EXPAND_FAILED_CURLY;
6041           }
6042         }
6043
6044       /* Extract either the numbered or the keyed substring into $value. If
6045       skipping, just pretend the extraction failed. */
6046
6047       if (skipping)
6048         lookup_value = NULL;
6049       else switch (fmt)
6050         {
6051         case extract_basic:
6052           lookup_value = field_number_set
6053             ? expand_gettokened(field_number, sub[1], sub[2])
6054             : expand_getkeyed(sub[0], sub[1]);
6055           break;
6056
6057         case extract_json:
6058         case extract_jsons:
6059           {
6060           uschar * s, * item;
6061           const uschar * list;
6062
6063           /* Array: Bracket-enclosed and comma-separated.
6064           Object: Brace-enclosed, comma-sep list of name:value pairs */
6065
6066           if (!(s = dewrap(sub[1], field_number_set ? US"[]" : US"{}")))
6067             {
6068             expand_string_message =
6069               string_sprintf("%s wrapping %s for extract json",
6070                 expand_string_message,
6071                 field_number_set ? "array" : "object");
6072             goto EXPAND_FAILED_CURLY;
6073             }
6074
6075           list = s;
6076           if (field_number_set)
6077             {
6078             if (field_number <= 0)
6079               {
6080               expand_string_message = US"first argument of \"extract\" must "
6081                 "be greater than zero";
6082               goto EXPAND_FAILED;
6083               }
6084             while (field_number > 0 && (item = json_nextinlist(&list)))
6085               field_number--;
6086             if ((lookup_value = s = item))
6087               {
6088               while (*s) s++;
6089               while (--s >= lookup_value && isspace(*s)) *s = '\0';
6090               }
6091             }
6092           else
6093             {
6094             lookup_value = NULL;
6095             while ((item = json_nextinlist(&list)))
6096               {
6097               /* Item is:  string name-sep value.  string is quoted.
6098               Dequote the string and compare with the search key. */
6099
6100               if (!(item = dewrap(item, US"\"\"")))
6101                 {
6102                 expand_string_message =
6103                   string_sprintf("%s wrapping string key for extract json",
6104                     expand_string_message);
6105                 goto EXPAND_FAILED_CURLY;
6106                 }
6107               if (Ustrcmp(item, sub[0]) == 0)   /*XXX should be a UTF8-compare */
6108                 {
6109                 s = item + Ustrlen(item) + 1;
6110                 while (isspace(*s)) s++;
6111                 if (*s != ':')
6112                   {
6113                   expand_string_message =
6114                     US"missing object value-separator for extract json";
6115                   goto EXPAND_FAILED_CURLY;
6116                   }
6117                 s++;
6118                 while (isspace(*s)) s++;
6119                 lookup_value = s;
6120                 break;
6121                 }
6122               }
6123             }
6124           }
6125
6126           if (  fmt == extract_jsons
6127              && lookup_value
6128              && !(lookup_value = dewrap(lookup_value, US"\"\"")))
6129             {
6130             expand_string_message =
6131               string_sprintf("%s wrapping string result for extract jsons",
6132                 expand_string_message);
6133             goto EXPAND_FAILED_CURLY;
6134             }
6135           break;        /* json/s */
6136         }
6137
6138       /* If no string follows, $value gets substituted; otherwise there can
6139       be yes/no strings, as for lookup or if. */
6140
6141       switch(process_yesno(
6142                skipping,                     /* were previously skipping */
6143                lookup_value != NULL,         /* success/failure indicator */
6144                save_lookup_value,            /* value to reset for string2 */
6145                &s,                           /* input pointer */
6146                &yield,                       /* output pointer */
6147                US"extract",                  /* condition type */
6148                &resetok))
6149         {
6150         case 1: goto EXPAND_FAILED;          /* when all is well, the */
6151         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
6152         }
6153
6154       /* All done - restore numerical variables. */
6155
6156       restore_expand_strings(save_expand_nmax, save_expand_nstring,
6157         save_expand_nlength);
6158
6159       continue;
6160       }
6161
6162     /* return the Nth item from a list */
6163
6164     case EITEM_LISTEXTRACT:
6165       {
6166       int field_number = 1;
6167       uschar *save_lookup_value = lookup_value;
6168       uschar *sub[2];
6169       int save_expand_nmax =
6170         save_expand_strings(save_expand_nstring, save_expand_nlength);
6171
6172       /* Read the field & list arguments */
6173
6174       for (int i = 0; i < 2; i++)
6175         {
6176         while (isspace(*s)) s++;
6177         if (*s != '{')                                  /*'}'*/
6178           {
6179           expand_string_message = string_sprintf(
6180             "missing '{' for arg %d of listextract", i+1);
6181           goto EXPAND_FAILED_CURLY;
6182           }
6183
6184         sub[i] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
6185         if (!sub[i])     goto EXPAND_FAILED;            /*{*/
6186         if (*s++ != '}')
6187           {
6188           expand_string_message = string_sprintf(
6189             "missing '}' closing arg %d of listextract", i+1);
6190           goto EXPAND_FAILED_CURLY;
6191           }
6192
6193         /* After removal of leading and trailing white space, the first
6194         argument must be numeric and nonempty. */
6195
6196         if (i == 0)
6197           {
6198           int len;
6199           int x = 0;
6200           uschar *p = sub[0];
6201
6202           while (isspace(*p)) p++;
6203           sub[0] = p;
6204
6205           len = Ustrlen(p);
6206           while (len > 0 && isspace(p[len-1])) len--;
6207           p[len] = 0;
6208
6209           if (!*p && !skipping)
6210             {
6211             expand_string_message = US"first argument of \"listextract\" must "
6212               "not be empty";
6213             goto EXPAND_FAILED;
6214             }
6215
6216           if (*p == '-')
6217             {
6218             field_number = -1;
6219             p++;
6220             }
6221           while (*p && isdigit(*p)) x = x * 10 + *p++ - '0';
6222           if (*p)
6223             {
6224             expand_string_message = US"first argument of \"listextract\" must "
6225               "be numeric";
6226             goto EXPAND_FAILED;
6227             }
6228           field_number *= x;
6229           }
6230         }
6231
6232       /* Extract the numbered element into $value. If
6233       skipping, just pretend the extraction failed. */
6234
6235       lookup_value = skipping ? NULL : expand_getlistele(field_number, sub[1]);
6236
6237       /* If no string follows, $value gets substituted; otherwise there can
6238       be yes/no strings, as for lookup or if. */
6239
6240       switch(process_yesno(
6241                skipping,                     /* were previously skipping */
6242                lookup_value != NULL,         /* success/failure indicator */
6243                save_lookup_value,            /* value to reset for string2 */
6244                &s,                           /* input pointer */
6245                &yield,                       /* output pointer */
6246                US"listextract",              /* condition type */
6247                &resetok))
6248         {
6249         case 1: goto EXPAND_FAILED;          /* when all is well, the */
6250         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
6251         }
6252
6253       /* All done - restore numerical variables. */
6254
6255       restore_expand_strings(save_expand_nmax, save_expand_nstring,
6256         save_expand_nlength);
6257
6258       continue;
6259       }
6260
6261 #ifndef DISABLE_TLS
6262     case EITEM_CERTEXTRACT:
6263       {
6264       uschar *save_lookup_value = lookup_value;
6265       uschar *sub[2];
6266       int save_expand_nmax =
6267         save_expand_strings(save_expand_nstring, save_expand_nlength);
6268
6269       /* Read the field argument */
6270       while (isspace(*s)) s++;
6271       if (*s != '{')                                    /*}*/
6272         {
6273         expand_string_message = US"missing '{' for field arg of certextract";
6274         goto EXPAND_FAILED_CURLY;
6275         }
6276       sub[0] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
6277       if (!sub[0])     goto EXPAND_FAILED;              /*{*/
6278       if (*s++ != '}')
6279         {
6280         expand_string_message = US"missing '}' closing field arg of certextract";
6281         goto EXPAND_FAILED_CURLY;
6282         }
6283       /* strip spaces fore & aft */
6284       {
6285       int len;
6286       uschar *p = sub[0];
6287
6288       while (isspace(*p)) p++;
6289       sub[0] = p;
6290
6291       len = Ustrlen(p);
6292       while (len > 0 && isspace(p[len-1])) len--;
6293       p[len] = 0;
6294       }
6295
6296       /* inspect the cert argument */
6297       while (isspace(*s)) s++;
6298       if (*s != '{')                                    /*}*/
6299         {
6300         expand_string_message = US"missing '{' for cert variable arg of certextract";
6301         goto EXPAND_FAILED_CURLY;
6302         }
6303       if (*++s != '$')
6304         {
6305         expand_string_message = US"second argument of \"certextract\" must "
6306           "be a certificate variable";
6307         goto EXPAND_FAILED;
6308         }
6309       sub[1] = expand_string_internal(s+1, TRUE, &s, skipping, FALSE, &resetok);
6310       if (!sub[1])     goto EXPAND_FAILED;              /*{*/
6311       if (*s++ != '}')
6312         {
6313         expand_string_message = US"missing '}' closing cert variable arg of certextract";
6314         goto EXPAND_FAILED_CURLY;
6315         }
6316
6317       if (skipping)
6318         lookup_value = NULL;
6319       else
6320         {
6321         lookup_value = expand_getcertele(sub[0], sub[1]);
6322         if (*expand_string_message) goto EXPAND_FAILED;
6323         }
6324       switch(process_yesno(
6325                skipping,                     /* were previously skipping */
6326                lookup_value != NULL,         /* success/failure indicator */
6327                save_lookup_value,            /* value to reset for string2 */
6328                &s,                           /* input pointer */
6329                &yield,                       /* output pointer */
6330                US"certextract",              /* condition type */
6331                &resetok))
6332         {
6333         case 1: goto EXPAND_FAILED;          /* when all is well, the */
6334         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
6335         }
6336
6337       restore_expand_strings(save_expand_nmax, save_expand_nstring,
6338         save_expand_nlength);
6339       continue;
6340       }
6341 #endif  /*DISABLE_TLS*/
6342
6343     /* Handle list operations */
6344
6345     case EITEM_FILTER:
6346     case EITEM_MAP:
6347     case EITEM_REDUCE:
6348       {
6349       int sep = 0;
6350       int save_ptr = yield->ptr;
6351       uschar outsep[2] = { '\0', '\0' };
6352       const uschar *list, *expr, *temp;
6353       uschar *save_iterate_item = iterate_item;
6354       uschar *save_lookup_value = lookup_value;
6355
6356       while (isspace(*s)) s++;
6357       if (*s++ != '{')
6358         {
6359         expand_string_message =
6360           string_sprintf("missing '{' for first arg of %s", name);
6361         goto EXPAND_FAILED_CURLY;
6362         }
6363
6364       if (!(list = expand_string_internal(s, TRUE, &s, skipping, TRUE, &resetok)))
6365         goto EXPAND_FAILED;
6366       if (*s++ != '}')
6367         {
6368         expand_string_message =
6369           string_sprintf("missing '}' closing first arg of %s", name);
6370         goto EXPAND_FAILED_CURLY;
6371         }
6372
6373       if (item_type == EITEM_REDUCE)
6374         {
6375         uschar * t;
6376         while (isspace(*s)) s++;
6377         if (*s++ != '{')
6378           {
6379           expand_string_message = US"missing '{' for second arg of reduce";
6380           goto EXPAND_FAILED_CURLY;
6381           }
6382         t = expand_string_internal(s, TRUE, &s, skipping, TRUE, &resetok);
6383         if (!t) goto EXPAND_FAILED;
6384         lookup_value = t;
6385         if (*s++ != '}')
6386           {
6387           expand_string_message = US"missing '}' closing second arg of reduce";
6388           goto EXPAND_FAILED_CURLY;
6389           }
6390         }
6391
6392       while (isspace(*s)) s++;
6393       if (*s++ != '{')
6394         {
6395         expand_string_message =
6396           string_sprintf("missing '{' for last arg of %s", name);
6397         goto EXPAND_FAILED_CURLY;
6398         }
6399
6400       expr = s;
6401
6402       /* For EITEM_FILTER, call eval_condition once, with result discarded (as
6403       if scanning a "false" part). This allows us to find the end of the
6404       condition, because if the list is empty, we won't actually evaluate the
6405       condition for real. For EITEM_MAP and EITEM_REDUCE, do the same, using
6406       the normal internal expansion function. */
6407
6408       if (item_type == EITEM_FILTER)
6409         {
6410         if ((temp = eval_condition(expr, &resetok, NULL)))
6411           s = temp;
6412         }
6413       else
6414         temp = expand_string_internal(s, TRUE, &s, TRUE, TRUE, &resetok);
6415
6416       if (!temp)
6417         {
6418         expand_string_message = string_sprintf("%s inside \"%s\" item",
6419           expand_string_message, name);
6420         goto EXPAND_FAILED;
6421         }
6422
6423       while (isspace(*s)) s++;
6424       if (*s++ != '}')
6425         {                                               /*{*/
6426         expand_string_message = string_sprintf("missing } at end of condition "
6427           "or expression inside \"%s\"; could be an unquoted } in the content",
6428           name);
6429         goto EXPAND_FAILED;
6430         }
6431
6432       while (isspace(*s)) s++;                          /*{*/
6433       if (*s++ != '}')
6434         {                                               /*{*/
6435         expand_string_message = string_sprintf("missing } at end of \"%s\"",
6436           name);
6437         goto EXPAND_FAILED;
6438         }
6439
6440       /* If we are skipping, we can now just move on to the next item. When
6441       processing for real, we perform the iteration. */
6442
6443       if (skipping) continue;
6444       while ((iterate_item = string_nextinlist(&list, &sep, NULL, 0)))
6445         {
6446         *outsep = (uschar)sep;      /* Separator as a string */
6447
6448         DEBUG(D_expand) debug_printf_indent("%s: $item = '%s'  $value = '%s'\n",
6449                           name, iterate_item, lookup_value);
6450
6451         if (item_type == EITEM_FILTER)
6452           {
6453           BOOL condresult;
6454           if (!eval_condition(expr, &resetok, &condresult))
6455             {
6456             iterate_item = save_iterate_item;
6457             lookup_value = save_lookup_value;
6458             expand_string_message = string_sprintf("%s inside \"%s\" condition",
6459               expand_string_message, name);
6460             goto EXPAND_FAILED;
6461             }
6462           DEBUG(D_expand) debug_printf_indent("%s: condition is %s\n", name,
6463             condresult? "true":"false");
6464           if (condresult)
6465             temp = iterate_item;    /* TRUE => include this item */
6466           else
6467             continue;               /* FALSE => skip this item */
6468           }
6469
6470         /* EITEM_MAP and EITEM_REDUCE */
6471
6472         else
6473           {
6474           uschar * t = expand_string_internal(expr, TRUE, NULL, skipping, TRUE, &resetok);
6475           temp = t;
6476           if (!temp)
6477             {
6478             iterate_item = save_iterate_item;
6479             expand_string_message = string_sprintf("%s inside \"%s\" item",
6480               expand_string_message, name);
6481             goto EXPAND_FAILED;
6482             }
6483           if (item_type == EITEM_REDUCE)
6484             {
6485             lookup_value = t;         /* Update the value of $value */
6486             continue;                 /* and continue the iteration */
6487             }
6488           }
6489
6490         /* We reach here for FILTER if the condition is true, always for MAP,
6491         and never for REDUCE. The value in "temp" is to be added to the output
6492         list that is being created, ensuring that any occurrences of the
6493         separator character are doubled. Unless we are dealing with the first
6494         item of the output list, add in a space if the new item begins with the
6495         separator character, or is an empty string. */
6496
6497         if (yield->ptr != save_ptr && (temp[0] == *outsep || temp[0] == 0))
6498           yield = string_catn(yield, US" ", 1);
6499
6500         /* Add the string in "temp" to the output list that we are building,
6501         This is done in chunks by searching for the separator character. */
6502
6503         for (;;)
6504           {
6505           size_t seglen = Ustrcspn(temp, outsep);
6506
6507           yield = string_catn(yield, temp, seglen + 1);
6508
6509           /* If we got to the end of the string we output one character
6510           too many; backup and end the loop. Otherwise arrange to double the
6511           separator. */
6512
6513           if (temp[seglen] == '\0') { yield->ptr--; break; }
6514           yield = string_catn(yield, outsep, 1);
6515           temp += seglen + 1;
6516           }
6517
6518         /* Output a separator after the string: we will remove the redundant
6519         final one at the end. */
6520
6521         yield = string_catn(yield, outsep, 1);
6522         }   /* End of iteration over the list loop */
6523
6524       /* REDUCE has generated no output above: output the final value of
6525       $value. */
6526
6527       if (item_type == EITEM_REDUCE)
6528         {
6529         yield = string_cat(yield, lookup_value);
6530         lookup_value = save_lookup_value;  /* Restore $value */
6531         }
6532
6533       /* FILTER and MAP generate lists: if they have generated anything, remove
6534       the redundant final separator. Even though an empty item at the end of a
6535       list does not count, this is tidier. */
6536
6537       else if (yield->ptr != save_ptr) yield->ptr--;
6538
6539       /* Restore preserved $item */
6540
6541       iterate_item = save_iterate_item;
6542       continue;
6543       }
6544
6545     case EITEM_SORT:
6546       {
6547       int cond_type;
6548       int sep = 0;
6549       const uschar *srclist, *cmp, *xtract;
6550       uschar * opname, * srcitem;
6551       const uschar *dstlist = NULL, *dstkeylist = NULL;
6552       uschar * tmp;
6553       uschar *save_iterate_item = iterate_item;
6554
6555       while (isspace(*s)) s++;
6556       if (*s++ != '{')
6557         {
6558         expand_string_message = US"missing '{' for list arg of sort";
6559         goto EXPAND_FAILED_CURLY;
6560         }
6561
6562       srclist = expand_string_internal(s, TRUE, &s, skipping, TRUE, &resetok);
6563       if (!srclist) goto EXPAND_FAILED;
6564       if (*s++ != '}')
6565         {
6566         expand_string_message = US"missing '}' closing list arg of sort";
6567         goto EXPAND_FAILED_CURLY;
6568         }
6569
6570       while (isspace(*s)) s++;
6571       if (*s++ != '{')
6572         {
6573         expand_string_message = US"missing '{' for comparator arg of sort";
6574         goto EXPAND_FAILED_CURLY;
6575         }
6576
6577       cmp = expand_string_internal(s, TRUE, &s, skipping, FALSE, &resetok);
6578       if (!cmp) goto EXPAND_FAILED;
6579       if (*s++ != '}')
6580         {
6581         expand_string_message = US"missing '}' closing comparator arg of sort";
6582         goto EXPAND_FAILED_CURLY;
6583         }
6584
6585       if ((cond_type = identify_operator(&cmp, &opname)) == -1)
6586         {
6587         if (!expand_string_message)
6588           expand_string_message = string_sprintf("unknown condition \"%s\"", s);
6589         goto EXPAND_FAILED;
6590         }
6591       switch(cond_type)
6592         {
6593         case ECOND_NUM_L: case ECOND_NUM_LE:
6594         case ECOND_NUM_G: case ECOND_NUM_GE:
6595         case ECOND_STR_GE: case ECOND_STR_GEI: case ECOND_STR_GT: case ECOND_STR_GTI:
6596         case ECOND_STR_LE: case ECOND_STR_LEI: case ECOND_STR_LT: case ECOND_STR_LTI:
6597           break;
6598
6599         default:
6600           expand_string_message = US"comparator not handled for sort";
6601           goto EXPAND_FAILED;
6602         }
6603
6604       while (isspace(*s)) s++;
6605       if (*s++ != '{')
6606         {
6607         expand_string_message = US"missing '{' for extractor arg of sort";
6608         goto EXPAND_FAILED_CURLY;
6609         }
6610
6611       xtract = s;
6612       if (!(tmp = expand_string_internal(s, TRUE, &s, TRUE, TRUE, &resetok)))
6613         goto EXPAND_FAILED;
6614       xtract = string_copyn(xtract, s - xtract);
6615
6616       if (*s++ != '}')
6617         {
6618         expand_string_message = US"missing '}' closing extractor arg of sort";
6619         goto EXPAND_FAILED_CURLY;
6620         }
6621                                                         /*{*/
6622       if (*s++ != '}')
6623         {                                               /*{*/
6624         expand_string_message = US"missing } at end of \"sort\"";
6625         goto EXPAND_FAILED;
6626         }
6627
6628       if (skipping) continue;
6629
6630       while ((srcitem = string_nextinlist(&srclist, &sep, NULL, 0)))
6631         {
6632         uschar * srcfield, * dstitem;
6633         gstring * newlist = NULL;
6634         gstring * newkeylist = NULL;
6635
6636         DEBUG(D_expand) debug_printf_indent("%s: $item = \"%s\"\n", name, srcitem);
6637
6638         /* extract field for comparisons */
6639         iterate_item = srcitem;
6640         if (  !(srcfield = expand_string_internal(xtract, FALSE, NULL, FALSE,
6641                                           TRUE, &resetok))
6642            || !*srcfield)
6643           {
6644           expand_string_message = string_sprintf(
6645               "field-extract in sort: \"%s\"", xtract);
6646           goto EXPAND_FAILED;
6647           }
6648
6649         /* Insertion sort */
6650
6651         /* copy output list until new-item < list-item */
6652         while ((dstitem = string_nextinlist(&dstlist, &sep, NULL, 0)))
6653           {
6654           uschar * dstfield;
6655
6656           /* field for comparison */
6657           if (!(dstfield = string_nextinlist(&dstkeylist, &sep, NULL, 0)))
6658             goto sort_mismatch;
6659
6660           /* String-comparator names start with a letter; numeric names do not */
6661
6662           if (sortsbefore(cond_type, isalpha(opname[0]),
6663               srcfield, dstfield))
6664             {
6665             /* New-item sorts before this dst-item.  Append new-item,
6666             then dst-item, then remainder of dst list. */
6667
6668             newlist = string_append_listele(newlist, sep, srcitem);
6669             newkeylist = string_append_listele(newkeylist, sep, srcfield);
6670             srcitem = NULL;
6671
6672             newlist = string_append_listele(newlist, sep, dstitem);
6673             newkeylist = string_append_listele(newkeylist, sep, dstfield);
6674
6675 /*XXX why field-at-a-time copy?  Why not just dup the rest of the list? */
6676             while ((dstitem = string_nextinlist(&dstlist, &sep, NULL, 0)))
6677               {
6678               if (!(dstfield = string_nextinlist(&dstkeylist, &sep, NULL, 0)))
6679                 goto sort_mismatch;
6680               newlist = string_append_listele(newlist, sep, dstitem);
6681               newkeylist = string_append_listele(newkeylist, sep, dstfield);
6682               }
6683
6684             break;
6685             }
6686
6687           newlist = string_append_listele(newlist, sep, dstitem);
6688           newkeylist = string_append_listele(newkeylist, sep, dstfield);
6689           }
6690
6691         /* If we ran out of dstlist without consuming srcitem, append it */
6692         if (srcitem)
6693           {
6694           newlist = string_append_listele(newlist, sep, srcitem);
6695           newkeylist = string_append_listele(newkeylist, sep, srcfield);
6696           }
6697
6698         dstlist = newlist->s;
6699         dstkeylist = newkeylist->s;
6700
6701         DEBUG(D_expand) debug_printf_indent("%s: dstlist = \"%s\"\n", name, dstlist);
6702         DEBUG(D_expand) debug_printf_indent("%s: dstkeylist = \"%s\"\n", name, dstkeylist);
6703         }
6704
6705       if (dstlist)
6706         yield = string_cat(yield, dstlist);
6707
6708       /* Restore preserved $item */
6709       iterate_item = save_iterate_item;
6710       continue;
6711
6712       sort_mismatch:
6713         expand_string_message = US"Internal error in sort (list mismatch)";
6714         goto EXPAND_FAILED;
6715       }
6716
6717
6718     /* If ${dlfunc } support is configured, handle calling dynamically-loaded
6719     functions, unless locked out at this time. Syntax is ${dlfunc{file}{func}}
6720     or ${dlfunc{file}{func}{arg}} or ${dlfunc{file}{func}{arg1}{arg2}} or up to
6721     a maximum of EXPAND_DLFUNC_MAX_ARGS arguments (defined below). */
6722
6723     #define EXPAND_DLFUNC_MAX_ARGS 8
6724
6725     case EITEM_DLFUNC:
6726 #ifndef EXPAND_DLFUNC
6727       expand_string_message = US"\"${dlfunc\" encountered, but this facility "  /*}*/
6728         "is not included in this binary";
6729       goto EXPAND_FAILED;
6730
6731 #else   /* EXPAND_DLFUNC */
6732       {
6733       tree_node *t;
6734       exim_dlfunc_t *func;
6735       uschar *result;
6736       int status, argc;
6737       uschar *argv[EXPAND_DLFUNC_MAX_ARGS + 3];
6738
6739       if ((expand_forbid & RDO_DLFUNC) != 0)
6740         {
6741         expand_string_message =
6742           US"dynamically-loaded functions are not permitted";
6743         goto EXPAND_FAILED;
6744         }
6745
6746       switch(read_subs(argv, EXPAND_DLFUNC_MAX_ARGS + 2, 2, &s, skipping,
6747            TRUE, US"dlfunc", &resetok))
6748         {
6749         case 1: goto EXPAND_FAILED_CURLY;
6750         case 2:
6751         case 3: goto EXPAND_FAILED;
6752         }
6753
6754       /* If skipping, we don't actually do anything */
6755
6756       if (skipping) continue;
6757
6758       /* Look up the dynamically loaded object handle in the tree. If it isn't
6759       found, dlopen() the file and put the handle in the tree for next time. */
6760
6761       if (!(t = tree_search(dlobj_anchor, argv[0])))
6762         {
6763         void *handle = dlopen(CS argv[0], RTLD_LAZY);
6764         if (!handle)
6765           {
6766           expand_string_message = string_sprintf("dlopen \"%s\" failed: %s",
6767             argv[0], dlerror());
6768           log_write(0, LOG_MAIN|LOG_PANIC, "%s", expand_string_message);
6769           goto EXPAND_FAILED;
6770           }
6771         t = store_get_perm(sizeof(tree_node) + Ustrlen(argv[0]), is_tainted(argv[0]));
6772         Ustrcpy(t->name, argv[0]);
6773         t->data.ptr = handle;
6774         (void)tree_insertnode(&dlobj_anchor, t);
6775         }
6776
6777       /* Having obtained the dynamically loaded object handle, look up the
6778       function pointer. */
6779
6780       if (!(func = (exim_dlfunc_t *)dlsym(t->data.ptr, CS argv[1])))
6781         {
6782         expand_string_message = string_sprintf("dlsym \"%s\" in \"%s\" failed: "
6783           "%s", argv[1], argv[0], dlerror());
6784         log_write(0, LOG_MAIN|LOG_PANIC, "%s", expand_string_message);
6785         goto EXPAND_FAILED;
6786         }
6787
6788       /* Call the function and work out what to do with the result. If it
6789       returns OK, we have a replacement string; if it returns DEFER then
6790       expansion has failed in a non-forced manner; if it returns FAIL then
6791       failure was forced; if it returns ERROR or any other value there's a
6792       problem, so panic slightly. In any case, assume that the function has
6793       side-effects on the store that must be preserved. */
6794
6795       resetok = FALSE;
6796       result = NULL;
6797       for (argc = 0; argv[argc]; argc++);
6798       status = func(&result, argc - 2, &argv[2]);
6799       if(status == OK)
6800         {
6801         if (!result) result = US"";
6802         yield = string_cat(yield, result);
6803         continue;
6804         }
6805       else
6806         {
6807         expand_string_message = result ? result : US"(no message)";
6808         if (status == FAIL_FORCED)
6809           f.expand_string_forcedfail = TRUE;
6810         else if (status != FAIL)
6811           log_write(0, LOG_MAIN|LOG_PANIC, "dlfunc{%s}{%s} failed (%d): %s",
6812               argv[0], argv[1], status, expand_string_message);
6813         goto EXPAND_FAILED;
6814         }
6815       }
6816 #endif /* EXPAND_DLFUNC */
6817
6818     case EITEM_ENV:     /* ${env {name} {val_if_found} {val_if_unfound}} */
6819       {
6820       uschar * key;
6821       uschar *save_lookup_value = lookup_value;
6822
6823       while (isspace(*s)) s++;
6824       if (*s != '{')                                    /*}*/
6825         goto EXPAND_FAILED;
6826
6827       key = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
6828       if (!key) goto EXPAND_FAILED;                     /*{*/
6829       if (*s++ != '}')
6830         {
6831         expand_string_message = US"missing '{' for name arg of env";
6832         goto EXPAND_FAILED_CURLY;
6833         }
6834
6835       lookup_value = US getenv(CS key);
6836
6837       switch(process_yesno(
6838                skipping,                     /* were previously skipping */
6839                lookup_value != NULL,         /* success/failure indicator */
6840                save_lookup_value,            /* value to reset for string2 */
6841                &s,                           /* input pointer */
6842                &yield,                       /* output pointer */
6843                US"env",                      /* condition type */
6844                &resetok))
6845         {
6846         case 1: goto EXPAND_FAILED;          /* when all is well, the */
6847         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
6848         }
6849       continue;
6850       }
6851
6852 #ifdef EXPERIMENTAL_SRS_NATIVE
6853     case EITEM_SRS_ENCODE:
6854       /* ${srs_encode {secret} {return_path} {orig_domain}} */
6855       {
6856       uschar * sub[3];
6857       uschar cksum[4];
6858
6859       switch (read_subs(sub, 3, 3, CUSS &s, skipping, TRUE, name, &resetok))
6860         {
6861         case 1: goto EXPAND_FAILED_CURLY;
6862         case 2:
6863         case 3: goto EXPAND_FAILED;
6864         }
6865
6866       yield = string_catn(yield, US"SRS0=", 5);
6867
6868       /* ${l_4:${hmac{md5}{SRS_SECRET}{${lc:$return_path}}}}= */
6869       hmac_md5(sub[0], string_copylc(sub[1]), cksum, sizeof(cksum));
6870       yield = string_catn(yield, cksum, sizeof(cksum));
6871       yield = string_catn(yield, US"=", 1);
6872
6873       /* ${base32:${eval:$tod_epoch/86400&0x3ff}}= */
6874         {
6875         struct timeval now;
6876         unsigned long i;
6877         gstring * g = NULL;
6878
6879         gettimeofday(&now, NULL);
6880         for (unsigned long i = (now.tv_sec / 86400) & 0x3ff; i; i >>= 5)
6881           g = string_catn(g, &base32_chars[i & 0x1f], 1);
6882         if (g) while (g->ptr > 0)
6883           yield = string_catn(yield, &g->s[--g->ptr], 1);
6884         }
6885       yield = string_catn(yield, US"=", 1);
6886
6887       /* ${domain:$return_path}=${local_part:$return_path} */
6888         {
6889         int start, end, domain;
6890         uschar * t = parse_extract_address(sub[1], &expand_string_message,
6891                                           &start, &end, &domain, FALSE);
6892         if (!t)
6893           goto EXPAND_FAILED;
6894
6895         if (domain > 0) yield = string_cat(yield, t + domain);
6896         yield = string_catn(yield, US"=", 1);
6897         yield = domain > 0
6898           ? string_catn(yield, t, domain - 1) : string_cat(yield, t);
6899         }
6900
6901       /* @$original_domain */
6902       yield = string_catn(yield, US"@", 1);
6903       yield = string_cat(yield, sub[2]);
6904       continue;
6905       }
6906 #endif /*EXPERIMENTAL_SRS_NATIVE*/
6907     }   /* EITEM_* switch */
6908
6909   /* Control reaches here if the name is not recognized as one of the more
6910   complicated expansion items. Check for the "operator" syntax (name terminated
6911   by a colon). Some of the operators have arguments, separated by _ from the
6912   name. */
6913
6914   if (*s == ':')
6915     {
6916     int c;
6917     uschar *arg = NULL;
6918     uschar *sub;
6919 #ifndef DISABLE_TLS
6920     var_entry *vp = NULL;
6921 #endif
6922
6923     /* Owing to an historical mis-design, an underscore may be part of the
6924     operator name, or it may introduce arguments.  We therefore first scan the
6925     table of names that contain underscores. If there is no match, we cut off
6926     the arguments and then scan the main table. */
6927
6928     if ((c = chop_match(name, op_table_underscore,
6929                         nelem(op_table_underscore))) < 0)
6930       {
6931       if ((arg = Ustrchr(name, '_')))
6932         *arg = 0;
6933       if ((c = chop_match(name, op_table_main, nelem(op_table_main))) >= 0)
6934         c += nelem(op_table_underscore);
6935       if (arg) *arg++ = '_';            /* Put back for error messages */
6936       }
6937
6938     /* Deal specially with operators that might take a certificate variable
6939     as we do not want to do the usual expansion. For most, expand the string.*/
6940     switch(c)
6941       {
6942 #ifndef DISABLE_TLS
6943       case EOP_MD5:
6944       case EOP_SHA1:
6945       case EOP_SHA256:
6946       case EOP_BASE64:
6947         if (s[1] == '$')
6948           {
6949           const uschar * s1 = s;
6950           sub = expand_string_internal(s+2, TRUE, &s1, skipping,
6951                   FALSE, &resetok);
6952           if (!sub)       goto EXPAND_FAILED;           /*{*/
6953           if (*s1 != '}')
6954             {
6955             expand_string_message =
6956               string_sprintf("missing '}' closing cert arg of %s", name);
6957             goto EXPAND_FAILED_CURLY;
6958             }
6959           if ((vp = find_var_ent(sub)) && vp->type == vtype_cert)
6960             {
6961             s = s1+1;
6962             break;
6963             }
6964           vp = NULL;
6965           }
6966         /*FALLTHROUGH*/
6967 #endif
6968       default:
6969         sub = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
6970         if (!sub) goto EXPAND_FAILED;
6971         s++;
6972         break;
6973       }
6974
6975     /* If we are skipping, we don't need to perform the operation at all.
6976     This matters for operations like "mask", because the data may not be
6977     in the correct format when skipping. For example, the expression may test
6978     for the existence of $sender_host_address before trying to mask it. For
6979     other operations, doing them may not fail, but it is a waste of time. */
6980
6981     if (skipping && c >= 0) continue;
6982
6983     /* Otherwise, switch on the operator type */
6984
6985     switch(c)
6986       {
6987       case EOP_BASE32:
6988         {
6989         uschar *t;
6990         unsigned long int n = Ustrtoul(sub, &t, 10);
6991         gstring * g = NULL;
6992
6993         if (*t != 0)
6994           {
6995           expand_string_message = string_sprintf("argument for base32 "
6996             "operator is \"%s\", which is not a decimal number", sub);
6997           goto EXPAND_FAILED;
6998           }
6999         for ( ; n; n >>= 5)
7000           g = string_catn(g, &base32_chars[n & 0x1f], 1);
7001
7002         if (g) while (g->ptr > 0) yield = string_catn(yield, &g->s[--g->ptr], 1);
7003         continue;
7004         }
7005
7006       case EOP_BASE32D:
7007         {
7008         uschar *tt = sub;
7009         unsigned long int n = 0;
7010         while (*tt)
7011           {
7012           uschar * t = Ustrchr(base32_chars, *tt++);
7013           if (!t)
7014             {
7015             expand_string_message = string_sprintf("argument for base32d "
7016               "operator is \"%s\", which is not a base 32 number", sub);
7017             goto EXPAND_FAILED;
7018             }
7019           n = n * 32 + (t - base32_chars);
7020           }
7021         yield = string_fmt_append(yield, "%ld", n);
7022         continue;
7023         }
7024
7025       case EOP_BASE62:
7026         {
7027         uschar *t;
7028         unsigned long int n = Ustrtoul(sub, &t, 10);
7029         if (*t != 0)
7030           {
7031           expand_string_message = string_sprintf("argument for base62 "
7032             "operator is \"%s\", which is not a decimal number", sub);
7033           goto EXPAND_FAILED;
7034           }
7035         yield = string_cat(yield, string_base62(n));
7036         continue;
7037         }
7038
7039       /* Note that for Darwin and Cygwin, BASE_62 actually has the value 36 */
7040
7041       case EOP_BASE62D:
7042         {
7043         uschar *tt = sub;
7044         unsigned long int n = 0;
7045         while (*tt != 0)
7046           {
7047           uschar *t = Ustrchr(base62_chars, *tt++);
7048           if (!t)
7049             {
7050             expand_string_message = string_sprintf("argument for base62d "
7051               "operator is \"%s\", which is not a base %d number", sub,
7052               BASE_62);
7053             goto EXPAND_FAILED;
7054             }
7055           n = n * BASE_62 + (t - base62_chars);
7056           }
7057         yield = string_fmt_append(yield, "%ld", n);
7058         continue;
7059         }
7060
7061       case EOP_EXPAND:
7062         {
7063         uschar *expanded = expand_string_internal(sub, FALSE, NULL, skipping, TRUE, &resetok);
7064         if (!expanded)
7065           {
7066           expand_string_message =
7067             string_sprintf("internal expansion of \"%s\" failed: %s", sub,
7068               expand_string_message);
7069           goto EXPAND_FAILED;
7070           }
7071         yield = string_cat(yield, expanded);
7072         continue;
7073         }
7074
7075       case EOP_LC:
7076         {
7077         int count = 0;
7078         uschar *t = sub - 1;
7079         while (*(++t) != 0) { *t = tolower(*t); count++; }
7080         yield = string_catn(yield, sub, count);
7081         continue;
7082         }
7083
7084       case EOP_UC:
7085         {
7086         int count = 0;
7087         uschar *t = sub - 1;
7088         while (*(++t) != 0) { *t = toupper(*t); count++; }
7089         yield = string_catn(yield, sub, count);
7090         continue;
7091         }
7092
7093       case EOP_MD5:
7094 #ifndef DISABLE_TLS
7095         if (vp && *(void **)vp->value)
7096           {
7097           uschar * cp = tls_cert_fprt_md5(*(void **)vp->value);
7098           yield = string_cat(yield, cp);
7099           }
7100         else
7101 #endif
7102           {
7103           md5 base;
7104           uschar digest[16];
7105           md5_start(&base);
7106           md5_end(&base, sub, Ustrlen(sub), digest);
7107           for (int j = 0; j < 16; j++)
7108             yield = string_fmt_append(yield, "%02x", digest[j]);
7109           }
7110         continue;
7111
7112       case EOP_SHA1:
7113 #ifndef DISABLE_TLS
7114         if (vp && *(void **)vp->value)
7115           {
7116           uschar * cp = tls_cert_fprt_sha1(*(void **)vp->value);
7117           yield = string_cat(yield, cp);
7118           }
7119         else
7120 #endif
7121           {
7122           hctx h;
7123           uschar digest[20];
7124           sha1_start(&h);
7125           sha1_end(&h, sub, Ustrlen(sub), digest);
7126           for (int j = 0; j < 20; j++)
7127             yield = string_fmt_append(yield, "%02X", digest[j]);
7128           }
7129         continue;
7130
7131       case EOP_SHA2:
7132       case EOP_SHA256:
7133 #ifdef EXIM_HAVE_SHA2
7134         if (vp && *(void **)vp->value)
7135           if (c == EOP_SHA256)
7136             yield = string_cat(yield, tls_cert_fprt_sha256(*(void **)vp->value));
7137           else
7138             expand_string_message = US"sha2_N not supported with certificates";
7139         else
7140           {
7141           hctx h;
7142           blob b;
7143           hashmethod m = !arg ? HASH_SHA2_256
7144             : Ustrcmp(arg, "256") == 0 ? HASH_SHA2_256
7145             : Ustrcmp(arg, "384") == 0 ? HASH_SHA2_384
7146             : Ustrcmp(arg, "512") == 0 ? HASH_SHA2_512
7147             : HASH_BADTYPE;
7148
7149           if (m == HASH_BADTYPE || !exim_sha_init(&h, m))
7150             {
7151             expand_string_message = US"unrecognised sha2 variant";
7152             goto EXPAND_FAILED;
7153             }
7154
7155           exim_sha_update(&h, sub, Ustrlen(sub));
7156           exim_sha_finish(&h, &b);
7157           while (b.len-- > 0)
7158             yield = string_fmt_append(yield, "%02X", *b.data++);
7159           }
7160 #else
7161           expand_string_message = US"sha256 only supported with TLS";
7162 #endif
7163         continue;
7164
7165       case EOP_SHA3:
7166 #ifdef EXIM_HAVE_SHA3
7167         {
7168         hctx h;
7169         blob b;
7170         hashmethod m = !arg ? HASH_SHA3_256
7171           : Ustrcmp(arg, "224") == 0 ? HASH_SHA3_224
7172           : Ustrcmp(arg, "256") == 0 ? HASH_SHA3_256
7173           : Ustrcmp(arg, "384") == 0 ? HASH_SHA3_384
7174           : Ustrcmp(arg, "512") == 0 ? HASH_SHA3_512
7175           : HASH_BADTYPE;
7176
7177         if (m == HASH_BADTYPE || !exim_sha_init(&h, m))
7178           {
7179           expand_string_message = US"unrecognised sha3 variant";
7180           goto EXPAND_FAILED;
7181           }
7182
7183         exim_sha_update(&h, sub, Ustrlen(sub));
7184         exim_sha_finish(&h, &b);
7185         while (b.len-- > 0)
7186           yield = string_fmt_append(yield, "%02X", *b.data++);
7187         }
7188         continue;
7189 #else
7190         expand_string_message = US"sha3 only supported with GnuTLS 3.5.0 + or OpenSSL 1.1.1 +";
7191         goto EXPAND_FAILED;
7192 #endif
7193
7194       /* Convert hex encoding to base64 encoding */
7195
7196       case EOP_HEX2B64:
7197         {
7198         int c = 0;
7199         int b = -1;
7200         uschar *in = sub;
7201         uschar *out = sub;
7202         uschar *enc;
7203
7204         for (enc = sub; *enc; enc++)
7205           {
7206           if (!isxdigit(*enc))
7207             {
7208             expand_string_message = string_sprintf("\"%s\" is not a hex "
7209               "string", sub);
7210             goto EXPAND_FAILED;
7211             }
7212           c++;
7213           }
7214
7215         if ((c & 1) != 0)
7216           {
7217           expand_string_message = string_sprintf("\"%s\" contains an odd "
7218             "number of characters", sub);
7219           goto EXPAND_FAILED;
7220           }
7221
7222         while ((c = *in++) != 0)
7223           {
7224           if (isdigit(c)) c -= '0';
7225           else c = toupper(c) - 'A' + 10;
7226           if (b == -1)
7227             b = c << 4;
7228           else
7229             {
7230             *out++ = b | c;
7231             b = -1;
7232             }
7233           }
7234
7235         enc = b64encode(CUS sub, out - sub);
7236         yield = string_cat(yield, enc);
7237         continue;
7238         }
7239
7240       /* Convert octets outside 0x21..0x7E to \xXX form */
7241
7242       case EOP_HEXQUOTE:
7243         {
7244         uschar *t = sub - 1;
7245         while (*(++t) != 0)
7246           {
7247           if (*t < 0x21 || 0x7E < *t)
7248             yield = string_fmt_append(yield, "\\x%02x", *t);
7249           else
7250             yield = string_catn(yield, t, 1);
7251           }
7252         continue;
7253         }
7254
7255       /* count the number of list elements */
7256
7257       case EOP_LISTCOUNT:
7258         {
7259         int cnt = 0;
7260         int sep = 0;
7261         uschar buffer[256];
7262
7263         while (string_nextinlist(CUSS &sub, &sep, buffer, sizeof(buffer))) cnt++;
7264         yield = string_fmt_append(yield, "%d", cnt);
7265         continue;
7266         }
7267
7268       /* expand a named list given the name */
7269       /* handles nested named lists; requotes as colon-sep list */
7270
7271       case EOP_LISTNAMED:
7272         {
7273         tree_node *t = NULL;
7274         const uschar * list;
7275         int sep = 0;
7276         uschar * item;
7277         uschar * suffix = US"";
7278         BOOL needsep = FALSE;
7279         uschar buffer[256];
7280
7281         if (*sub == '+') sub++;
7282         if (!arg)               /* no-argument version */
7283           {
7284           if (!(t = tree_search(addresslist_anchor, sub)) &&
7285               !(t = tree_search(domainlist_anchor,  sub)) &&
7286               !(t = tree_search(hostlist_anchor,    sub)))
7287             t = tree_search(localpartlist_anchor, sub);
7288           }
7289         else switch(*arg)       /* specific list-type version */
7290           {
7291           case 'a': t = tree_search(addresslist_anchor,   sub); suffix = US"_a"; break;
7292           case 'd': t = tree_search(domainlist_anchor,    sub); suffix = US"_d"; break;
7293           case 'h': t = tree_search(hostlist_anchor,      sub); suffix = US"_h"; break;
7294           case 'l': t = tree_search(localpartlist_anchor, sub); suffix = US"_l"; break;
7295           default:
7296             expand_string_message = US"bad suffix on \"list\" operator";
7297             goto EXPAND_FAILED;
7298           }
7299
7300         if(!t)
7301           {
7302           expand_string_message = string_sprintf("\"%s\" is not a %snamed list",
7303             sub, !arg?""
7304               : *arg=='a'?"address "
7305               : *arg=='d'?"domain "
7306               : *arg=='h'?"host "
7307               : *arg=='l'?"localpart "
7308               : 0);
7309           goto EXPAND_FAILED;
7310           }
7311
7312         list = ((namedlist_block *)(t->data.ptr))->string;
7313
7314         while ((item = string_nextinlist(&list, &sep, buffer, sizeof(buffer))))
7315           {
7316           uschar * buf = US" : ";
7317           if (needsep)
7318             yield = string_catn(yield, buf, 3);
7319           else
7320             needsep = TRUE;
7321
7322           if (*item == '+')     /* list item is itself a named list */
7323             {
7324             uschar * sub = string_sprintf("${listnamed%s:%s}", suffix, item);
7325             item = expand_string_internal(sub, FALSE, NULL, FALSE, TRUE, &resetok);
7326             }
7327           else if (sep != ':')  /* item from non-colon-sep list, re-quote for colon list-separator */
7328             {
7329             char * cp;
7330             char tok[3];
7331             tok[0] = sep; tok[1] = ':'; tok[2] = 0;
7332             while ((cp= strpbrk(CCS item, tok)))
7333               {
7334               yield = string_catn(yield, item, cp - CS item);
7335               if (*cp++ == ':') /* colon in a non-colon-sep list item, needs doubling */
7336                 {
7337                 yield = string_catn(yield, US"::", 2);
7338                 item = US cp;
7339                 }
7340               else              /* sep in item; should already be doubled; emit once */
7341                 {
7342                 yield = string_catn(yield, US tok, 1);
7343                 if (*cp == sep) cp++;
7344                 item = US cp;
7345                 }
7346               }
7347             }
7348           yield = string_cat(yield, item);
7349           }
7350         continue;
7351         }
7352
7353       /* mask applies a mask to an IP address; for example the result of
7354       ${mask:131.111.10.206/28} is 131.111.10.192/28. */
7355
7356       case EOP_MASK:
7357         {
7358         int count;
7359         uschar *endptr;
7360         int binary[4];
7361         int mask, maskoffset;
7362         int type = string_is_ip_address(sub, &maskoffset);
7363         uschar buffer[64];
7364
7365         if (type == 0)
7366           {
7367           expand_string_message = string_sprintf("\"%s\" is not an IP address",
7368            sub);
7369           goto EXPAND_FAILED;
7370           }
7371
7372         if (maskoffset == 0)
7373           {
7374           expand_string_message = string_sprintf("missing mask value in \"%s\"",
7375             sub);
7376           goto EXPAND_FAILED;
7377           }
7378
7379         mask = Ustrtol(sub + maskoffset + 1, &endptr, 10);
7380
7381         if (*endptr != 0 || mask < 0 || mask > ((type == 4)? 32 : 128))
7382           {
7383           expand_string_message = string_sprintf("mask value too big in \"%s\"",
7384             sub);
7385           goto EXPAND_FAILED;
7386           }
7387
7388         /* Convert the address to binary integer(s) and apply the mask */
7389
7390         sub[maskoffset] = 0;
7391         count = host_aton(sub, binary);
7392         host_mask(count, binary, mask);
7393
7394         /* Convert to masked textual format and add to output. */
7395
7396         yield = string_catn(yield, buffer,
7397           host_nmtoa(count, binary, mask, buffer, '.'));
7398         continue;
7399         }
7400
7401       case EOP_IPV6NORM:
7402       case EOP_IPV6DENORM:
7403         {
7404         int type = string_is_ip_address(sub, NULL);
7405         int binary[4];
7406         uschar buffer[44];
7407
7408         switch (type)
7409           {
7410           case 6:
7411             (void) host_aton(sub, binary);
7412             break;
7413
7414           case 4:       /* convert to IPv4-mapped IPv6 */
7415             binary[0] = binary[1] = 0;
7416             binary[2] = 0x0000ffff;
7417             (void) host_aton(sub, binary+3);
7418             break;
7419
7420           case 0:
7421             expand_string_message =
7422               string_sprintf("\"%s\" is not an IP address", sub);
7423             goto EXPAND_FAILED;
7424           }
7425
7426         yield = string_catn(yield, buffer, c == EOP_IPV6NORM
7427                     ? ipv6_nmtoa(binary, buffer)
7428                     : host_nmtoa(4, binary, -1, buffer, ':')
7429                   );
7430         continue;
7431         }
7432
7433       case EOP_ADDRESS:
7434       case EOP_LOCAL_PART:
7435       case EOP_DOMAIN:
7436         {
7437         uschar * error;
7438         int start, end, domain;
7439         uschar * t = parse_extract_address(sub, &error, &start, &end, &domain,
7440           FALSE);
7441         if (t)
7442           if (c != EOP_DOMAIN)
7443             yield = c == EOP_LOCAL_PART && domain > 0
7444               ? string_catn(yield, t, domain - 1)
7445               : string_cat(yield, t);
7446           else if (domain > 0)
7447             yield = string_cat(yield, t + domain);
7448         continue;
7449         }
7450
7451       case EOP_ADDRESSES:
7452         {
7453         uschar outsep[2] = { ':', '\0' };
7454         uschar *address, *error;
7455         int save_ptr = yield->ptr;
7456         int start, end, domain;  /* Not really used */
7457
7458         while (isspace(*sub)) sub++;
7459         if (*sub == '>')
7460           if (*outsep = *++sub) ++sub;
7461           else
7462             {
7463             expand_string_message = string_sprintf("output separator "
7464               "missing in expanding ${addresses:%s}", --sub);
7465             goto EXPAND_FAILED;
7466             }
7467         f.parse_allow_group = TRUE;
7468
7469         for (;;)
7470           {
7471           uschar * p = parse_find_address_end(sub, FALSE);
7472           uschar saveend = *p;
7473           *p = '\0';
7474           address = parse_extract_address(sub, &error, &start, &end, &domain,
7475             FALSE);
7476           *p = saveend;
7477
7478           /* Add the address to the output list that we are building. This is
7479           done in chunks by searching for the separator character. At the
7480           start, unless we are dealing with the first address of the output
7481           list, add in a space if the new address begins with the separator
7482           character, or is an empty string. */
7483
7484           if (address)
7485             {
7486             if (yield->ptr != save_ptr && address[0] == *outsep)
7487               yield = string_catn(yield, US" ", 1);
7488
7489             for (;;)
7490               {
7491               size_t seglen = Ustrcspn(address, outsep);
7492               yield = string_catn(yield, address, seglen + 1);
7493
7494               /* If we got to the end of the string we output one character
7495               too many. */
7496
7497               if (address[seglen] == '\0') { yield->ptr--; break; }
7498               yield = string_catn(yield, outsep, 1);
7499               address += seglen + 1;
7500               }
7501
7502             /* Output a separator after the string: we will remove the
7503             redundant final one at the end. */
7504
7505             yield = string_catn(yield, outsep, 1);
7506             }
7507
7508           if (saveend == '\0') break;
7509           sub = p + 1;
7510           }
7511
7512         /* If we have generated anything, remove the redundant final
7513         separator. */
7514
7515         if (yield->ptr != save_ptr) yield->ptr--;
7516         f.parse_allow_group = FALSE;
7517         continue;
7518         }
7519
7520
7521       /* quote puts a string in quotes if it is empty or contains anything
7522       other than alphamerics, underscore, dot, or hyphen.
7523
7524       quote_local_part puts a string in quotes if RFC 2821/2822 requires it to
7525       be quoted in order to be a valid local part.
7526
7527       In both cases, newlines and carriage returns are converted into \n and \r
7528       respectively */
7529
7530       case EOP_QUOTE:
7531       case EOP_QUOTE_LOCAL_PART:
7532       if (!arg)
7533         {
7534         BOOL needs_quote = (*sub == 0);      /* TRUE for empty string */
7535         uschar *t = sub - 1;
7536
7537         if (c == EOP_QUOTE)
7538           {
7539           while (!needs_quote && *(++t) != 0)
7540             needs_quote = !isalnum(*t) && !strchr("_-.", *t);
7541           }
7542         else  /* EOP_QUOTE_LOCAL_PART */
7543           {
7544           while (!needs_quote && *(++t) != 0)
7545             needs_quote = !isalnum(*t) &&
7546               strchr("!#$%&'*+-/=?^_`{|}~", *t) == NULL &&
7547               (*t != '.' || t == sub || t[1] == 0);
7548           }
7549
7550         if (needs_quote)
7551           {
7552           yield = string_catn(yield, US"\"", 1);
7553           t = sub - 1;
7554           while (*(++t) != 0)
7555             {
7556             if (*t == '\n')
7557               yield = string_catn(yield, US"\\n", 2);
7558             else if (*t == '\r')
7559               yield = string_catn(yield, US"\\r", 2);
7560             else
7561               {
7562               if (*t == '\\' || *t == '"')
7563                 yield = string_catn(yield, US"\\", 1);
7564               yield = string_catn(yield, t, 1);
7565               }
7566             }
7567           yield = string_catn(yield, US"\"", 1);
7568           }
7569         else yield = string_cat(yield, sub);
7570         continue;
7571         }
7572
7573       /* quote_lookuptype does lookup-specific quoting */
7574
7575       else
7576         {
7577         int n;
7578         uschar *opt = Ustrchr(arg, '_');
7579
7580         if (opt) *opt++ = 0;
7581
7582         if ((n = search_findtype(arg, Ustrlen(arg))) < 0)
7583           {
7584           expand_string_message = search_error_message;
7585           goto EXPAND_FAILED;
7586           }
7587
7588         if (lookup_list[n]->quote)
7589           sub = (lookup_list[n]->quote)(sub, opt);
7590         else if (opt)
7591           sub = NULL;
7592
7593         if (!sub)
7594           {
7595           expand_string_message = string_sprintf(
7596             "\"%s\" unrecognized after \"${quote_%s\"",
7597             opt, arg);
7598           goto EXPAND_FAILED;
7599           }
7600
7601         yield = string_cat(yield, sub);
7602         continue;
7603         }
7604
7605       /* rx quote sticks in \ before any non-alphameric character so that
7606       the insertion works in a regular expression. */
7607
7608       case EOP_RXQUOTE:
7609         {
7610         uschar *t = sub - 1;
7611         while (*(++t) != 0)
7612           {
7613           if (!isalnum(*t))
7614             yield = string_catn(yield, US"\\", 1);
7615           yield = string_catn(yield, t, 1);
7616           }
7617         continue;
7618         }
7619
7620       /* RFC 2047 encodes, assuming headers_charset (default ISO 8859-1) as
7621       prescribed by the RFC, if there are characters that need to be encoded */
7622
7623       case EOP_RFC2047:
7624         {
7625         uschar buffer[2048];
7626         yield = string_cat(yield,
7627                             parse_quote_2047(sub, Ustrlen(sub), headers_charset,
7628                               buffer, sizeof(buffer), FALSE));
7629         continue;
7630         }
7631
7632       /* RFC 2047 decode */
7633
7634       case EOP_RFC2047D:
7635         {
7636         int len;
7637         uschar *error;
7638         uschar *decoded = rfc2047_decode(sub, check_rfc2047_length,
7639           headers_charset, '?', &len, &error);
7640         if (error)
7641           {
7642           expand_string_message = error;
7643           goto EXPAND_FAILED;
7644           }
7645         yield = string_catn(yield, decoded, len);
7646         continue;
7647         }
7648
7649       /* from_utf8 converts UTF-8 to 8859-1, turning non-existent chars into
7650       underscores */
7651
7652       case EOP_FROM_UTF8:
7653         {
7654         while (*sub != 0)
7655           {
7656           int c;
7657           uschar buff[4];
7658           GETUTF8INC(c, sub);
7659           if (c > 255) c = '_';
7660           buff[0] = c;
7661           yield = string_catn(yield, buff, 1);
7662           }
7663         continue;
7664         }
7665
7666           /* replace illegal UTF-8 sequences by replacement character  */
7667
7668       #define UTF8_REPLACEMENT_CHAR US"?"
7669
7670       case EOP_UTF8CLEAN:
7671         {
7672         int seq_len = 0, index = 0;
7673         int bytes_left = 0;
7674         long codepoint = -1;
7675         int complete;
7676         uschar seq_buff[4];                     /* accumulate utf-8 here */
7677
7678         while (*sub != 0)
7679           {
7680           complete = 0;
7681           uschar c = *sub++;
7682
7683           if (bytes_left)
7684             {
7685             if ((c & 0xc0) != 0x80)
7686                     /* wrong continuation byte; invalidate all bytes */
7687               complete = 1; /* error */
7688             else
7689               {
7690               codepoint = (codepoint << 6) | (c & 0x3f);
7691               seq_buff[index++] = c;
7692               if (--bytes_left == 0)            /* codepoint complete */
7693                 if(codepoint > 0x10FFFF)        /* is it too large? */
7694                   complete = -1;        /* error (RFC3629 limit) */
7695                 else
7696                   {             /* finished; output utf-8 sequence */
7697                   yield = string_catn(yield, seq_buff, seq_len);
7698                   index = 0;
7699                   }
7700               }
7701             }
7702           else  /* no bytes left: new sequence */
7703             {
7704             if((c & 0x80) == 0) /* 1-byte sequence, US-ASCII, keep it */
7705               {
7706               yield = string_catn(yield, &c, 1);
7707               continue;
7708               }
7709             if((c & 0xe0) == 0xc0)              /* 2-byte sequence */
7710               {
7711               if(c == 0xc0 || c == 0xc1)        /* 0xc0 and 0xc1 are illegal */
7712                 complete = -1;
7713               else
7714                 {
7715                   bytes_left = 1;
7716                   codepoint = c & 0x1f;
7717                 }
7718               }
7719             else if((c & 0xf0) == 0xe0)         /* 3-byte sequence */
7720               {
7721               bytes_left = 2;
7722               codepoint = c & 0x0f;
7723               }
7724             else if((c & 0xf8) == 0xf0)         /* 4-byte sequence */
7725               {
7726               bytes_left = 3;
7727               codepoint = c & 0x07;
7728               }
7729             else        /* invalid or too long (RFC3629 allows only 4 bytes) */
7730               complete = -1;
7731
7732             seq_buff[index++] = c;
7733             seq_len = bytes_left + 1;
7734             }           /* if(bytes_left) */
7735
7736           if (complete != 0)
7737             {
7738             bytes_left = index = 0;
7739             yield = string_catn(yield, UTF8_REPLACEMENT_CHAR, 1);
7740             }
7741           if ((complete == 1) && ((c & 0x80) == 0))
7742                         /* ASCII character follows incomplete sequence */
7743               yield = string_catn(yield, &c, 1);
7744           }
7745         /* If given a sequence truncated mid-character, we also want to report ?
7746         * Eg, ${length_1:フィル} is one byte, not one character, so we expect
7747         * ${utf8clean:${length_1:フィル}} to yield '?' */
7748         if (bytes_left != 0)
7749           {
7750           yield = string_catn(yield, UTF8_REPLACEMENT_CHAR, 1);
7751           }
7752         continue;
7753         }
7754
7755 #ifdef SUPPORT_I18N
7756       case EOP_UTF8_DOMAIN_TO_ALABEL:
7757         {
7758         uschar * error = NULL;
7759         uschar * s = string_domain_utf8_to_alabel(sub, &error);
7760         if (error)
7761           {
7762           expand_string_message = string_sprintf(
7763             "error converting utf8 (%s) to alabel: %s",
7764             string_printing(sub), error);
7765           goto EXPAND_FAILED;
7766           }
7767         yield = string_cat(yield, s);
7768         continue;
7769         }
7770
7771       case EOP_UTF8_DOMAIN_FROM_ALABEL:
7772         {
7773         uschar * error = NULL;
7774         uschar * s = string_domain_alabel_to_utf8(sub, &error);
7775         if (error)
7776           {
7777           expand_string_message = string_sprintf(
7778             "error converting alabel (%s) to utf8: %s",
7779             string_printing(sub), error);
7780           goto EXPAND_FAILED;
7781           }
7782         yield = string_cat(yield, s);
7783         continue;
7784         }
7785
7786       case EOP_UTF8_LOCALPART_TO_ALABEL:
7787         {
7788         uschar * error = NULL;
7789         uschar * s = string_localpart_utf8_to_alabel(sub, &error);
7790         if (error)
7791           {
7792           expand_string_message = string_sprintf(
7793             "error converting utf8 (%s) to alabel: %s",
7794             string_printing(sub), error);
7795           goto EXPAND_FAILED;
7796           }
7797         yield = string_cat(yield, s);
7798         DEBUG(D_expand) debug_printf_indent("yield: '%s'\n", yield->s);
7799         continue;
7800         }
7801
7802       case EOP_UTF8_LOCALPART_FROM_ALABEL:
7803         {
7804         uschar * error = NULL;
7805         uschar * s = string_localpart_alabel_to_utf8(sub, &error);
7806         if (error)
7807           {
7808           expand_string_message = string_sprintf(
7809             "error converting alabel (%s) to utf8: %s",
7810             string_printing(sub), error);
7811           goto EXPAND_FAILED;
7812           }
7813         yield = string_cat(yield, s);
7814         continue;
7815         }
7816 #endif  /* EXPERIMENTAL_INTERNATIONAL */
7817
7818       /* escape turns all non-printing characters into escape sequences. */
7819
7820       case EOP_ESCAPE:
7821         {
7822         const uschar * t = string_printing(sub);
7823         yield = string_cat(yield, t);
7824         continue;
7825         }
7826
7827       case EOP_ESCAPE8BIT:
7828         {
7829         uschar c;
7830
7831         for (const uschar * s = sub; (c = *s); s++)
7832           yield = c < 127 && c != '\\'
7833             ? string_catn(yield, s, 1)
7834             : string_fmt_append(yield, "\\%03o", c);
7835         continue;
7836         }
7837
7838       /* Handle numeric expression evaluation */
7839
7840       case EOP_EVAL:
7841       case EOP_EVAL10:
7842         {
7843         uschar *save_sub = sub;
7844         uschar *error = NULL;
7845         int_eximarith_t n = eval_expr(&sub, (c == EOP_EVAL10), &error, FALSE);
7846         if (error)
7847           {
7848           expand_string_message = string_sprintf("error in expression "
7849             "evaluation: %s (after processing \"%.*s\")", error,
7850             (int)(sub-save_sub), save_sub);
7851           goto EXPAND_FAILED;
7852           }
7853         yield = string_fmt_append(yield, PR_EXIM_ARITH, n);
7854         continue;
7855         }
7856
7857       /* Handle time period formatting */
7858
7859       case EOP_TIME_EVAL:
7860         {
7861         int n = readconf_readtime(sub, 0, FALSE);
7862         if (n < 0)
7863           {
7864           expand_string_message = string_sprintf("string \"%s\" is not an "
7865             "Exim time interval in \"%s\" operator", sub, name);
7866           goto EXPAND_FAILED;
7867           }
7868         yield = string_fmt_append(yield, "%d", n);
7869         continue;
7870         }
7871
7872       case EOP_TIME_INTERVAL:
7873         {
7874         int n;
7875         uschar *t = read_number(&n, sub);
7876         if (*t != 0) /* Not A Number*/
7877           {
7878           expand_string_message = string_sprintf("string \"%s\" is not a "
7879             "positive number in \"%s\" operator", sub, name);
7880           goto EXPAND_FAILED;
7881           }
7882         t = readconf_printtime(n);
7883         yield = string_cat(yield, t);
7884         continue;
7885         }
7886
7887       /* Convert string to base64 encoding */
7888
7889       case EOP_STR2B64:
7890       case EOP_BASE64:
7891         {
7892 #ifndef DISABLE_TLS
7893         uschar * s = vp && *(void **)vp->value
7894           ? tls_cert_der_b64(*(void **)vp->value)
7895           : b64encode(CUS sub, Ustrlen(sub));
7896 #else
7897         uschar * s = b64encode(CUS sub, Ustrlen(sub));
7898 #endif
7899         yield = string_cat(yield, s);
7900         continue;
7901         }
7902
7903       case EOP_BASE64D:
7904         {
7905         uschar * s;
7906         int len = b64decode(sub, &s);
7907         if (len < 0)
7908           {
7909           expand_string_message = string_sprintf("string \"%s\" is not "
7910             "well-formed for \"%s\" operator", sub, name);
7911           goto EXPAND_FAILED;
7912           }
7913         yield = string_cat(yield, s);
7914         continue;
7915         }
7916
7917       /* strlen returns the length of the string */
7918
7919       case EOP_STRLEN:
7920         yield = string_fmt_append(yield, "%d", Ustrlen(sub));
7921         continue;
7922
7923       /* length_n or l_n takes just the first n characters or the whole string,
7924       whichever is the shorter;
7925
7926       substr_m_n, and s_m_n take n characters from offset m; negative m take
7927       from the end; l_n is synonymous with s_0_n. If n is omitted in substr it
7928       takes the rest, either to the right or to the left.
7929
7930       hash_n or h_n makes a hash of length n from the string, yielding n
7931       characters from the set a-z; hash_n_m makes a hash of length n, but
7932       uses m characters from the set a-zA-Z0-9.
7933
7934       nhash_n returns a single number between 0 and n-1 (in text form), while
7935       nhash_n_m returns a div/mod hash as two numbers "a/b". The first lies
7936       between 0 and n-1 and the second between 0 and m-1. */
7937
7938       case EOP_LENGTH:
7939       case EOP_L:
7940       case EOP_SUBSTR:
7941       case EOP_S:
7942       case EOP_HASH:
7943       case EOP_H:
7944       case EOP_NHASH:
7945       case EOP_NH:
7946         {
7947         int sign = 1;
7948         int value1 = 0;
7949         int value2 = -1;
7950         int *pn;
7951         int len;
7952         uschar *ret;
7953
7954         if (!arg)
7955           {
7956           expand_string_message = string_sprintf("missing values after %s",
7957             name);
7958           goto EXPAND_FAILED;
7959           }
7960
7961         /* "length" has only one argument, effectively being synonymous with
7962         substr_0_n. */
7963
7964         if (c == EOP_LENGTH || c == EOP_L)
7965           {
7966           pn = &value2;
7967           value2 = 0;
7968           }
7969
7970         /* The others have one or two arguments; for "substr" the first may be
7971         negative. The second being negative means "not supplied". */
7972
7973         else
7974           {
7975           pn = &value1;
7976           if (name[0] == 's' && *arg == '-') { sign = -1; arg++; }
7977           }
7978
7979         /* Read up to two numbers, separated by underscores */
7980
7981         ret = arg;
7982         while (*arg != 0)
7983           {
7984           if (arg != ret && *arg == '_' && pn == &value1)
7985             {
7986             pn = &value2;
7987             value2 = 0;
7988             if (arg[1] != 0) arg++;
7989             }
7990           else if (!isdigit(*arg))
7991             {
7992             expand_string_message =
7993               string_sprintf("non-digit after underscore in \"%s\"", name);
7994             goto EXPAND_FAILED;
7995             }
7996           else *pn = (*pn)*10 + *arg++ - '0';
7997           }
7998         value1 *= sign;
7999
8000         /* Perform the required operation */
8001
8002         ret = c == EOP_HASH || c == EOP_H
8003           ? compute_hash(sub, value1, value2, &len)
8004           : c == EOP_NHASH || c == EOP_NH
8005           ? compute_nhash(sub, value1, value2, &len)
8006           : extract_substr(sub, value1, value2, &len);
8007         if (!ret) goto EXPAND_FAILED;
8008
8009         yield = string_catn(yield, ret, len);
8010         continue;
8011         }
8012
8013       /* Stat a path */
8014
8015       case EOP_STAT:
8016         {
8017         uschar smode[12];
8018         uschar **modetable[3];
8019         mode_t mode;
8020         struct stat st;
8021
8022         if (expand_forbid & RDO_EXISTS)
8023           {
8024           expand_string_message = US"Use of the stat() expansion is not permitted";
8025           goto EXPAND_FAILED;
8026           }
8027
8028         if (stat(CS sub, &st) < 0)
8029           {
8030           expand_string_message = string_sprintf("stat(%s) failed: %s",
8031             sub, strerror(errno));
8032           goto EXPAND_FAILED;
8033           }
8034         mode = st.st_mode;
8035         switch (mode & S_IFMT)
8036           {
8037           case S_IFIFO: smode[0] = 'p'; break;
8038           case S_IFCHR: smode[0] = 'c'; break;
8039           case S_IFDIR: smode[0] = 'd'; break;
8040           case S_IFBLK: smode[0] = 'b'; break;
8041           case S_IFREG: smode[0] = '-'; break;
8042           default: smode[0] = '?'; break;
8043           }
8044
8045         modetable[0] = ((mode & 01000) == 0)? mtable_normal : mtable_sticky;
8046         modetable[1] = ((mode & 02000) == 0)? mtable_normal : mtable_setid;
8047         modetable[2] = ((mode & 04000) == 0)? mtable_normal : mtable_setid;
8048
8049         for (int i = 0; i < 3; i++)
8050           {
8051           memcpy(CS(smode + 7 - i*3), CS(modetable[i][mode & 7]), 3);
8052           mode >>= 3;
8053           }
8054
8055         smode[10] = 0;
8056         yield = string_fmt_append(yield,
8057           "mode=%04lo smode=%s inode=%ld device=%ld links=%ld "
8058           "uid=%ld gid=%ld size=" OFF_T_FMT " atime=%ld mtime=%ld ctime=%ld",
8059           (long)(st.st_mode & 077777), smode, (long)st.st_ino,
8060           (long)st.st_dev, (long)st.st_nlink, (long)st.st_uid,
8061           (long)st.st_gid, st.st_size, (long)st.st_atime,
8062           (long)st.st_mtime, (long)st.st_ctime);
8063         continue;
8064         }
8065
8066       /* vaguely random number less than N */
8067
8068       case EOP_RANDINT:
8069         {
8070         int_eximarith_t max = expanded_string_integer(sub, TRUE);
8071
8072         if (expand_string_message)
8073           goto EXPAND_FAILED;
8074         yield = string_fmt_append(yield, "%d", vaguely_random_number((int)max));
8075         continue;
8076         }
8077
8078       /* Reverse IP, including IPv6 to dotted-nibble */
8079
8080       case EOP_REVERSE_IP:
8081         {
8082         int family, maskptr;
8083         uschar reversed[128];
8084
8085         family = string_is_ip_address(sub, &maskptr);
8086         if (family == 0)
8087           {
8088           expand_string_message = string_sprintf(
8089               "reverse_ip() not given an IP address [%s]", sub);
8090           goto EXPAND_FAILED;
8091           }
8092         invert_address(reversed, sub);
8093         yield = string_cat(yield, reversed);
8094         continue;
8095         }
8096
8097       /* Unknown operator */
8098
8099       default:
8100         expand_string_message =
8101           string_sprintf("unknown expansion operator \"%s\"", name);
8102         goto EXPAND_FAILED;
8103       }
8104     }
8105
8106   /* Handle a plain name. If this is the first thing in the expansion, release
8107   the pre-allocated buffer. If the result data is known to be in a new buffer,
8108   newsize will be set to the size of that buffer, and we can just point at that
8109   store instead of copying. Many expansion strings contain just one reference,
8110   so this is a useful optimization, especially for humungous headers
8111   ($message_headers). */
8112                                                 /*{*/
8113   if (*s++ == '}')
8114     {
8115     int len;
8116     int newsize = 0;
8117     gstring * g = NULL;
8118
8119     if (!yield)
8120       g = store_get(sizeof(gstring), FALSE);
8121     else if (yield->ptr == 0)
8122       {
8123       if (resetok) reset_point = store_reset(reset_point);
8124       yield = NULL;
8125       reset_point = store_mark();
8126       g = store_get(sizeof(gstring), FALSE);    /* alloc _before_ calling find_variable() */
8127       }
8128     if (!(value = find_variable(name, FALSE, skipping, &newsize)))
8129       {
8130       expand_string_message =
8131         string_sprintf("unknown variable in \"${%s}\"", name);
8132       check_variable_error_message(name);
8133       goto EXPAND_FAILED;
8134       }
8135     len = Ustrlen(value);
8136     if (!yield && newsize)
8137       {
8138       yield = g;
8139       yield->size = newsize;
8140       yield->ptr = len;
8141       yield->s = value;
8142       }
8143     else
8144       yield = string_catn(yield, value, len);
8145     continue;
8146     }
8147
8148   /* Else there's something wrong */
8149
8150   expand_string_message =
8151     string_sprintf("\"${%s\" is not a known operator (or a } is missing "
8152     "in a variable reference)", name);
8153   goto EXPAND_FAILED;
8154   }
8155
8156 /* If we hit the end of the string when ket_ends is set, there is a missing
8157 terminating brace. */
8158
8159 if (ket_ends && *s == 0)
8160   {
8161   expand_string_message = malformed_header
8162     ? US"missing } at end of string - could be header name not terminated by colon"
8163     : US"missing } at end of string";
8164   goto EXPAND_FAILED;
8165   }
8166
8167 /* Expansion succeeded; yield may still be NULL here if nothing was actually
8168 added to the string. If so, set up an empty string. Add a terminating zero. If
8169 left != NULL, return a pointer to the terminator. */
8170
8171 if (!yield)
8172   yield = string_get(1);
8173 (void) string_from_gstring(yield);
8174 if (left) *left = s;
8175
8176 /* Any stacking store that was used above the final string is no longer needed.
8177 In many cases the final string will be the first one that was got and so there
8178 will be optimal store usage. */
8179
8180 if (resetok) gstring_release_unused(yield);
8181 else if (resetok_p) *resetok_p = FALSE;
8182
8183 DEBUG(D_expand)
8184   {
8185   BOOL tainted = is_tainted(yield->s);
8186   DEBUG(D_noutf8)
8187     {
8188     debug_printf_indent("|--expanding: %.*s\n", (int)(s - string), string);
8189     debug_printf_indent("%sresult: %s\n",
8190       skipping ? "|-----" : "\\_____", yield->s);
8191     if (tainted)
8192       debug_printf_indent("%s     \\__(tainted)\n",
8193         skipping ? "|     " : "      ");
8194     if (skipping)
8195       debug_printf_indent("\\___skipping: result is not used\n");
8196     }
8197   else
8198     {
8199     debug_printf_indent(UTF8_VERT_RIGHT UTF8_HORIZ UTF8_HORIZ
8200       "expanding: %.*s\n",
8201       (int)(s - string), string);
8202     debug_printf_indent("%s" UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ
8203       "result: %s\n",
8204       skipping ? UTF8_VERT_RIGHT : UTF8_UP_RIGHT,
8205       yield->s);
8206     if (tainted)
8207       debug_printf_indent("%s(tainted)\n",
8208         skipping
8209         ? UTF8_VERT "             " : "           " UTF8_UP_RIGHT UTF8_HORIZ UTF8_HORIZ);
8210     if (skipping)
8211       debug_printf_indent(UTF8_UP_RIGHT UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ
8212         "skipping: result is not used\n");
8213     }
8214   }
8215 expand_level--;
8216 return yield->s;
8217
8218 /* This is the failure exit: easiest to program with a goto. We still need
8219 to update the pointer to the terminator, for cases of nested calls with "fail".
8220 */
8221
8222 EXPAND_FAILED_CURLY:
8223 if (malformed_header)
8224   expand_string_message =
8225     US"missing or misplaced { or } - could be header name not terminated by colon";
8226
8227 else if (!expand_string_message || !*expand_string_message)
8228   expand_string_message = US"missing or misplaced { or }";
8229
8230 /* At one point, Exim reset the store to yield (if yield was not NULL), but
8231 that is a bad idea, because expand_string_message is in dynamic store. */
8232
8233 EXPAND_FAILED:
8234 if (left) *left = s;
8235 DEBUG(D_expand)
8236   DEBUG(D_noutf8)
8237     {
8238     debug_printf_indent("|failed to expand: %s\n", string);
8239     debug_printf_indent("%serror message: %s\n",
8240       f.expand_string_forcedfail ? "|---" : "\\___", expand_string_message);
8241     if (f.expand_string_forcedfail)
8242       debug_printf_indent("\\failure was forced\n");
8243     }
8244   else
8245     {
8246     debug_printf_indent(UTF8_VERT_RIGHT "failed to expand: %s\n",
8247       string);
8248     debug_printf_indent("%s" UTF8_HORIZ UTF8_HORIZ UTF8_HORIZ
8249       "error message: %s\n",
8250       f.expand_string_forcedfail ? UTF8_VERT_RIGHT : UTF8_UP_RIGHT,
8251       expand_string_message);
8252     if (f.expand_string_forcedfail)
8253       debug_printf_indent(UTF8_UP_RIGHT "failure was forced\n");
8254     }
8255 if (resetok_p && !resetok) *resetok_p = FALSE;
8256 expand_level--;
8257 return NULL;
8258 }
8259
8260
8261 /* This is the external function call. Do a quick check for any expansion
8262 metacharacters, and if there are none, just return the input string.
8263
8264 Argument: the string to be expanded
8265 Returns:  the expanded string, or NULL if expansion failed; if failure was
8266           due to a lookup deferring, search_find_defer will be TRUE
8267 */
8268
8269 const uschar *
8270 expand_cstring(const uschar * string)
8271 {
8272 if (Ustrpbrk(string, "$\\") != NULL)
8273   {
8274   int old_pool = store_pool;
8275   uschar * s;
8276
8277   f.search_find_defer = FALSE;
8278   malformed_header = FALSE;
8279   store_pool = POOL_MAIN;
8280     s = expand_string_internal(string, FALSE, NULL, FALSE, TRUE, NULL);
8281   store_pool = old_pool;
8282   return s;
8283   }
8284 return string;
8285 }
8286
8287
8288 uschar *
8289 expand_string(uschar * string)
8290 {
8291 return US expand_cstring(CUS string);
8292 }
8293
8294
8295
8296
8297
8298 /*************************************************
8299 *              Expand and copy                   *
8300 *************************************************/
8301
8302 /* Now and again we want to expand a string and be sure that the result is in a
8303 new bit of store. This function does that.
8304 Since we know it has been copied, the de-const cast is safe.
8305
8306 Argument: the string to be expanded
8307 Returns:  the expanded string, always in a new bit of store, or NULL
8308 */
8309
8310 uschar *
8311 expand_string_copy(const uschar *string)
8312 {
8313 const uschar *yield = expand_cstring(string);
8314 if (yield == string) yield = string_copy(string);
8315 return US yield;
8316 }
8317
8318
8319
8320 /*************************************************
8321 *        Expand and interpret as an integer      *
8322 *************************************************/
8323
8324 /* Expand a string, and convert the result into an integer.
8325
8326 Arguments:
8327   string  the string to be expanded
8328   isplus  TRUE if a non-negative number is expected
8329
8330 Returns:  the integer value, or
8331           -1 for an expansion error               ) in both cases, message in
8332           -2 for an integer interpretation error  ) expand_string_message
8333           expand_string_message is set NULL for an OK integer
8334 */
8335
8336 int_eximarith_t
8337 expand_string_integer(uschar *string, BOOL isplus)
8338 {
8339 return expanded_string_integer(expand_string(string), isplus);
8340 }
8341
8342
8343 /*************************************************
8344  *         Interpret string as an integer        *
8345  *************************************************/
8346
8347 /* Convert a string (that has already been expanded) into an integer.
8348
8349 This function is used inside the expansion code.
8350
8351 Arguments:
8352   s       the string to be expanded
8353   isplus  TRUE if a non-negative number is expected
8354
8355 Returns:  the integer value, or
8356           -1 if string is NULL (which implies an expansion error)
8357           -2 for an integer interpretation error
8358           expand_string_message is set NULL for an OK integer
8359 */
8360
8361 static int_eximarith_t
8362 expanded_string_integer(const uschar *s, BOOL isplus)
8363 {
8364 int_eximarith_t value;
8365 uschar *msg = US"invalid integer \"%s\"";
8366 uschar *endptr;
8367
8368 /* If expansion failed, expand_string_message will be set. */
8369
8370 if (!s) return -1;
8371
8372 /* On an overflow, strtol() returns LONG_MAX or LONG_MIN, and sets errno
8373 to ERANGE. When there isn't an overflow, errno is not changed, at least on some
8374 systems, so we set it zero ourselves. */
8375
8376 errno = 0;
8377 expand_string_message = NULL;               /* Indicates no error */
8378
8379 /* Before Exim 4.64, strings consisting entirely of whitespace compared
8380 equal to 0.  Unfortunately, people actually relied upon that, so preserve
8381 the behaviour explicitly.  Stripping leading whitespace is a harmless
8382 noop change since strtol skips it anyway (provided that there is a number
8383 to find at all). */
8384 if (isspace(*s))
8385   {
8386   while (isspace(*s)) ++s;
8387   if (*s == '\0')
8388     {
8389       DEBUG(D_expand)
8390        debug_printf_indent("treating blank string as number 0\n");
8391       return 0;
8392     }
8393   }
8394
8395 value = strtoll(CS s, CSS &endptr, 10);
8396
8397 if (endptr == s)
8398   {
8399   msg = US"integer expected but \"%s\" found";
8400   }
8401 else if (value < 0 && isplus)
8402   {
8403   msg = US"non-negative integer expected but \"%s\" found";
8404   }
8405 else
8406   {
8407   switch (tolower(*endptr))
8408     {
8409     default:
8410       break;
8411     case 'k':
8412       if (value > EXIM_ARITH_MAX/1024 || value < EXIM_ARITH_MIN/1024) errno = ERANGE;
8413       else value *= 1024;
8414       endptr++;
8415       break;
8416     case 'm':
8417       if (value > EXIM_ARITH_MAX/(1024*1024) || value < EXIM_ARITH_MIN/(1024*1024)) errno = ERANGE;
8418       else value *= 1024*1024;
8419       endptr++;
8420       break;
8421     case 'g':
8422       if (value > EXIM_ARITH_MAX/(1024*1024*1024) || value < EXIM_ARITH_MIN/(1024*1024*1024)) errno = ERANGE;
8423       else value *= 1024*1024*1024;
8424       endptr++;
8425       break;
8426     }
8427   if (errno == ERANGE)
8428     msg = US"absolute value of integer \"%s\" is too large (overflow)";
8429   else
8430     {
8431     while (isspace(*endptr)) endptr++;
8432     if (*endptr == 0) return value;
8433     }
8434   }
8435
8436 expand_string_message = string_sprintf(CS msg, s);
8437 return -2;
8438 }
8439
8440
8441 /* These values are usually fixed boolean values, but they are permitted to be
8442 expanded strings.
8443
8444 Arguments:
8445   addr       address being routed
8446   mtype      the module type
8447   mname      the module name
8448   dbg_opt    debug selectors
8449   oname      the option name
8450   bvalue     the router's boolean value
8451   svalue     the router's string value
8452   rvalue     where to put the returned value
8453
8454 Returns:     OK     value placed in rvalue
8455              DEFER  expansion failed
8456 */
8457
8458 int
8459 exp_bool(address_item *addr,
8460   uschar *mtype, uschar *mname, unsigned dbg_opt,
8461   uschar *oname, BOOL bvalue,
8462   uschar *svalue, BOOL *rvalue)
8463 {
8464 uschar *expanded;
8465 if (!svalue) { *rvalue = bvalue; return OK; }
8466
8467 if (!(expanded = expand_string(svalue)))
8468   {
8469   if (f.expand_string_forcedfail)
8470     {
8471     DEBUG(dbg_opt) debug_printf("expansion of \"%s\" forced failure\n", oname);
8472     *rvalue = bvalue;
8473     return OK;
8474     }
8475   addr->message = string_sprintf("failed to expand \"%s\" in %s %s: %s",
8476       oname, mname, mtype, expand_string_message);
8477   DEBUG(dbg_opt) debug_printf("%s\n", addr->message);
8478   return DEFER;
8479   }
8480
8481 DEBUG(dbg_opt) debug_printf("expansion of \"%s\" yields \"%s\"\n", oname,
8482   expanded);
8483
8484 if (strcmpic(expanded, US"true") == 0 || strcmpic(expanded, US"yes") == 0)
8485   *rvalue = TRUE;
8486 else if (strcmpic(expanded, US"false") == 0 || strcmpic(expanded, US"no") == 0)
8487   *rvalue = FALSE;
8488 else
8489   {
8490   addr->message = string_sprintf("\"%s\" is not a valid value for the "
8491     "\"%s\" option in the %s %s", expanded, oname, mname, mtype);
8492   return DEFER;
8493   }
8494
8495 return OK;
8496 }
8497
8498
8499
8500 /* Avoid potentially exposing a password in a string about to be logged */
8501
8502 uschar *
8503 expand_hide_passwords(uschar * s)
8504 {
8505 return (  (  Ustrstr(s, "failed to expand") != NULL
8506           || Ustrstr(s, "expansion of ")    != NULL
8507           )
8508        && (  Ustrstr(s, "mysql")   != NULL
8509           || Ustrstr(s, "pgsql")   != NULL
8510           || Ustrstr(s, "redis")   != NULL
8511           || Ustrstr(s, "sqlite")  != NULL
8512           || Ustrstr(s, "ldap:")   != NULL
8513           || Ustrstr(s, "ldaps:")  != NULL
8514           || Ustrstr(s, "ldapi:")  != NULL
8515           || Ustrstr(s, "ldapdn:") != NULL
8516           || Ustrstr(s, "ldapm:")  != NULL
8517        )  )
8518   ? US"Temporary internal error" : s;
8519 }
8520
8521
8522 /* Read given named file into big_buffer.  Use for keying material etc.
8523 The content will have an ascii NUL appended.
8524
8525 Arguments:
8526  filename       as it says
8527
8528 Return:  pointer to buffer, or NULL on error.
8529 */
8530
8531 uschar *
8532 expand_file_big_buffer(const uschar * filename)
8533 {
8534 int fd, off = 0, len;
8535
8536 if ((fd = open(CS filename, O_RDONLY)) < 0)
8537   {
8538   log_write(0, LOG_MAIN | LOG_PANIC, "unable to open file for reading: %s",
8539              filename);
8540   return NULL;
8541   }
8542
8543 do
8544   {
8545   if ((len = read(fd, big_buffer + off, big_buffer_size - 2 - off)) < 0)
8546     {
8547     (void) close(fd);
8548     log_write(0, LOG_MAIN|LOG_PANIC, "unable to read file: %s", filename);
8549     return NULL;
8550     }
8551   off += len;
8552   }
8553 while (len > 0);
8554
8555 (void) close(fd);
8556 big_buffer[off] = '\0';
8557 return big_buffer;
8558 }
8559
8560
8561
8562 /*************************************************
8563 * Error-checking for testsuite                   *
8564 *************************************************/
8565 typedef struct {
8566   uschar *      region_start;
8567   uschar *      region_end;
8568   const uschar *var_name;
8569   const uschar *var_data;
8570 } err_ctx;
8571
8572 static void
8573 assert_variable_notin(uschar * var_name, uschar * var_data, void * ctx)
8574 {
8575 err_ctx * e = ctx;
8576 if (var_data >= e->region_start  &&  var_data < e->region_end)
8577   {
8578   e->var_name = CUS var_name;
8579   e->var_data = CUS var_data;
8580   }
8581 }
8582
8583 void
8584 assert_no_variables(void * ptr, int len, const char * filename, int linenumber)
8585 {
8586 err_ctx e = { .region_start = ptr, .region_end = US ptr + len,
8587               .var_name = NULL, .var_data = NULL };
8588
8589 /* check acl_ variables */
8590 tree_walk(acl_var_c, assert_variable_notin, &e);
8591 tree_walk(acl_var_m, assert_variable_notin, &e);
8592
8593 /* check auth<n> variables */
8594 for (int i = 0; i < AUTH_VARS; i++) if (auth_vars[i])
8595   assert_variable_notin(US"auth<n>", auth_vars[i], &e);
8596
8597 /* check regex<n> variables */
8598 for (int i = 0; i < REGEX_VARS; i++) if (regex_vars[i])
8599   assert_variable_notin(US"regex<n>", regex_vars[i], &e);
8600
8601 /* check known-name variables */
8602 for (var_entry * v = var_table; v < var_table + var_table_size; v++)
8603   if (v->type == vtype_stringptr)
8604     assert_variable_notin(US v->name, *(USS v->value), &e);
8605
8606 /* check dns and address trees */
8607 tree_walk(tree_dns_fails,     assert_variable_notin, &e);
8608 tree_walk(tree_duplicates,    assert_variable_notin, &e);
8609 tree_walk(tree_nonrecipients, assert_variable_notin, &e);
8610 tree_walk(tree_unusable,      assert_variable_notin, &e);
8611
8612 if (e.var_name)
8613   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
8614     "live variable '%s' destroyed by reset_store at %s:%d\n- value '%.64s'",
8615     e.var_name, filename, linenumber, e.var_data);
8616 }
8617
8618
8619
8620 /*************************************************
8621 **************************************************
8622 *             Stand-alone test program           *
8623 **************************************************
8624 *************************************************/
8625
8626 #ifdef STAND_ALONE
8627
8628
8629 BOOL
8630 regex_match_and_setup(const pcre *re, uschar *subject, int options, int setup)
8631 {
8632 int ovector[3*(EXPAND_MAXN+1)];
8633 int n = pcre_exec(re, NULL, subject, Ustrlen(subject), 0, PCRE_EOPT|options,
8634   ovector, nelem(ovector));
8635 BOOL yield = n >= 0;
8636 if (n == 0) n = EXPAND_MAXN + 1;
8637 if (yield)
8638   {
8639   expand_nmax = setup < 0 ? 0 : setup + 1;
8640   for (int nn = setup < 0 ? 0 : 2; nn < n*2; nn += 2)
8641     {
8642     expand_nstring[expand_nmax] = subject + ovector[nn];
8643     expand_nlength[expand_nmax++] = ovector[nn+1] - ovector[nn];
8644     }
8645   expand_nmax--;
8646   }
8647 return yield;
8648 }
8649
8650
8651 int main(int argc, uschar **argv)
8652 {
8653 uschar buffer[1024];
8654
8655 debug_selector = D_v;
8656 debug_file = stderr;
8657 debug_fd = fileno(debug_file);
8658 big_buffer = malloc(big_buffer_size);
8659
8660 for (int i = 1; i < argc; i++)
8661   {
8662   if (argv[i][0] == '+')
8663     {
8664     debug_trace_memory = 2;
8665     argv[i]++;
8666     }
8667   if (isdigit(argv[i][0]))
8668     debug_selector = Ustrtol(argv[i], NULL, 0);
8669   else
8670     if (Ustrspn(argv[i], "abcdefghijklmnopqrtsuvwxyz0123456789-.:/") ==
8671         Ustrlen(argv[i]))
8672       {
8673 #ifdef LOOKUP_LDAP
8674       eldap_default_servers = argv[i];
8675 #endif
8676 #ifdef LOOKUP_MYSQL
8677       mysql_servers = argv[i];
8678 #endif
8679 #ifdef LOOKUP_PGSQL
8680       pgsql_servers = argv[i];
8681 #endif
8682 #ifdef LOOKUP_REDIS
8683       redis_servers = argv[i];
8684 #endif
8685       }
8686 #ifdef EXIM_PERL
8687   else opt_perl_startup = argv[i];
8688 #endif
8689   }
8690
8691 printf("Testing string expansion: debug_level = %d\n\n", debug_level);
8692
8693 expand_nstring[1] = US"string 1....";
8694 expand_nlength[1] = 8;
8695 expand_nmax = 1;
8696
8697 #ifdef EXIM_PERL
8698 if (opt_perl_startup != NULL)
8699   {
8700   uschar *errstr;
8701   printf("Starting Perl interpreter\n");
8702   errstr = init_perl(opt_perl_startup);
8703   if (errstr != NULL)
8704     {
8705     printf("** error in perl_startup code: %s\n", errstr);
8706     return EXIT_FAILURE;
8707     }
8708   }
8709 #endif /* EXIM_PERL */
8710
8711 /* Thie deliberately regards the input as untainted, so that it can be
8712 expanded; only reasonable since this is a test for string-expansions. */
8713
8714 while (fgets(buffer, sizeof(buffer), stdin) != NULL)
8715   {
8716   rmark reset_point = store_mark();
8717   uschar *yield = expand_string(buffer);
8718   if (yield)
8719     printf("%s\n", yield);
8720   else
8721     {
8722     if (f.search_find_defer) printf("search_find deferred\n");
8723     printf("Failed: %s\n", expand_string_message);
8724     if (f.expand_string_forcedfail) printf("Forced failure\n");
8725     printf("\n");
8726     }
8727   store_reset(reset_point);
8728   }
8729
8730 search_tidyup();
8731
8732 return 0;
8733 }
8734
8735 #endif
8736
8737 /* vi: aw ai sw=2
8738 */
8739 /* End of expand.c */