src/src/expand.c

   1 /*************************************************
   2 *     Exim - an Internet mail transport agent    *
   3 *************************************************/
   4
   5 /* Copyright (c) University of Cambridge 1995 - 2016 */
   6 /* See the file NOTICE for conditions of use and distribution. */
   7
   8
   9 /* Functions for handling string expansion. */
  10
  11
  12 #include "exim.h"
  13
  14 /* Recursively called function */
  15
  16 static uschar *expand_string_internal(const uschar *, BOOL, const uschar **, BOOL, BOOL, BOOL *);
  17 static int_eximarith_t expanded_string_integer(const uschar *, BOOL);
  18
  19 #ifdef STAND_ALONE
  20 #ifndef SUPPORT_CRYPTEQ
  21 #define SUPPORT_CRYPTEQ
  22 #endif
  23 #endif
  24
  25 #ifdef LOOKUP_LDAP
  26 #include "lookups/ldap.h"
  27 #endif
  28
  29 #ifdef SUPPORT_CRYPTEQ
  30 #ifdef CRYPT_H
  31 #include <crypt.h>
  32 #endif
  33 #ifndef HAVE_CRYPT16
  34 extern char* crypt16(char*, char*);
  35 #endif
  36 #endif
  37
  38 /* The handling of crypt16() is a mess. I will record below the analysis of the
  39 mess that was sent to me. We decided, however, to make changing this very low
  40 priority, because in practice people are moving away from the crypt()
  41 algorithms nowadays, so it doesn't seem worth it.
  42
  43 <quote>
  44 There is an algorithm named "crypt16" in Ultrix and Tru64.  It crypts
  45 the first 8 characters of the password using a 20-round version of crypt
  46 (standard crypt does 25 rounds).  It then crypts the next 8 characters,
  47 or an empty block if the password is less than 9 characters, using a
  48 20-round version of crypt and the same salt as was used for the first
  49 block.  Charaters after the first 16 are ignored.  It always generates
  50 a 16-byte hash, which is expressed together with the salt as a string
  51 of 24 base 64 digits.  Here are some links to peruse:
  52
  53         http://cvs.pld.org.pl/pam/pamcrypt/crypt16.c?rev=1.2
  54         http://seclists.org/bugtraq/1999/Mar/0076.html
  55
  56 There's a different algorithm named "bigcrypt" in HP-UX, Digital Unix,
  57 and OSF/1.  This is the same as the standard crypt if given a password
  58 of 8 characters or less.  If given more, it first does the same as crypt
  59 using the first 8 characters, then crypts the next 8 (the 9th to 16th)
  60 using as salt the first two base 64 digits from the first hash block.
  61 If the password is more than 16 characters then it crypts the 17th to 24th
  62 characters using as salt the first two base 64 digits from the second hash
  63 block.  And so on: I've seen references to it cutting off the password at
  64 40 characters (5 blocks), 80 (10 blocks), or 128 (16 blocks).  Some links:
  65
  66         http://cvs.pld.org.pl/pam/pamcrypt/bigcrypt.c?rev=1.2
  67         http://seclists.org/bugtraq/1999/Mar/0109.html
  68         http://h30097.www3.hp.com/docs/base_doc/DOCUMENTATION/HTML/AA-Q0R2D-
  69              TET1_html/sec.c222.html#no_id_208
  70
  71 Exim has something it calls "crypt16".  It will either use a native
  72 crypt16 or its own implementation.  A native crypt16 will presumably
  73 be the one that I called "crypt16" above.  The internal "crypt16"
  74 function, however, is a two-block-maximum implementation of what I called
  75 "bigcrypt".  The documentation matches the internal code.
  76
  77 I suspect that whoever did the "crypt16" stuff for Exim didn't realise
  78 that crypt16 and bigcrypt were different things.
  79
  80 Exim uses the LDAP-style scheme identifier "{crypt16}" to refer
  81 to whatever it is using under that name.  This unfortunately sets a
  82 precedent for using "{crypt16}" to identify two incompatible algorithms
  83 whose output can't be distinguished.  With "{crypt16}" thus rendered
  84 ambiguous, I suggest you deprecate it and invent two new identifiers
  85 for the two algorithms.
  86
  87 Both crypt16 and bigcrypt are very poor algorithms, btw.  Hashing parts
  88 of the password separately means they can be cracked separately, so
  89 the double-length hash only doubles the cracking effort instead of
  90 squaring it.  I recommend salted SHA-1 ({SSHA}), or the Blowfish-based
  91 bcrypt ({CRYPT}$2a$).
  92 </quote>
  93 */
  94
  95
  96
  97 /*************************************************
  98 *            Local statics and tables            *
  99 *************************************************/
 100
 101 /* Table of item names, and corresponding switch numbers. The names must be in
 102 alphabetical order. */
 103
 104 static uschar *item_table[] = {
 105   US"acl",
 106   US"certextract",
 107   US"dlfunc",
 108   US"env",
 109   US"extract",
 110   US"filter",
 111   US"hash",
 112   US"hmac",
 113   US"if",
 114 #ifdef SUPPORT_I18N
 115   US"imapfolder",
 116 #endif
 117   US"length",
 118   US"listextract",
 119   US"lookup",
 120   US"map",
 121   US"nhash",
 122   US"perl",
 123   US"prvs",
 124   US"prvscheck",
 125   US"readfile",
 126   US"readsocket",
 127   US"reduce",
 128   US"run",
 129   US"sg",
 130   US"sort",
 131   US"substr",
 132   US"tr" };
 133
 134 enum {
 135   EITEM_ACL,
 136   EITEM_CERTEXTRACT,
 137   EITEM_DLFUNC,
 138   EITEM_ENV,
 139   EITEM_EXTRACT,
 140   EITEM_FILTER,
 141   EITEM_HASH,
 142   EITEM_HMAC,
 143   EITEM_IF,
 144 #ifdef SUPPORT_I18N
 145   EITEM_IMAPFOLDER,
 146 #endif
 147   EITEM_LENGTH,
 148   EITEM_LISTEXTRACT,
 149   EITEM_LOOKUP,
 150   EITEM_MAP,
 151   EITEM_NHASH,
 152   EITEM_PERL,
 153   EITEM_PRVS,
 154   EITEM_PRVSCHECK,
 155   EITEM_READFILE,
 156   EITEM_READSOCK,
 157   EITEM_REDUCE,
 158   EITEM_RUN,
 159   EITEM_SG,
 160   EITEM_SORT,
 161   EITEM_SUBSTR,
 162   EITEM_TR };
 163
 164 /* Tables of operator names, and corresponding switch numbers. The names must be
 165 in alphabetical order. There are two tables, because underscore is used in some
 166 cases to introduce arguments, whereas for other it is part of the name. This is
 167 an historical mis-design. */
 168
 169 static uschar *op_table_underscore[] = {
 170   US"from_utf8",
 171   US"local_part",
 172   US"quote_local_part",
 173   US"reverse_ip",
 174   US"time_eval",
 175   US"time_interval"
 176 #ifdef SUPPORT_I18N
 177  ,US"utf8_domain_from_alabel",
 178   US"utf8_domain_to_alabel",
 179   US"utf8_localpart_from_alabel",
 180   US"utf8_localpart_to_alabel"
 181 #endif
 182   };
 183
 184 enum {
 185   EOP_FROM_UTF8,
 186   EOP_LOCAL_PART,
 187   EOP_QUOTE_LOCAL_PART,
 188   EOP_REVERSE_IP,
 189   EOP_TIME_EVAL,
 190   EOP_TIME_INTERVAL
 191 #ifdef SUPPORT_I18N
 192  ,EOP_UTF8_DOMAIN_FROM_ALABEL,
 193   EOP_UTF8_DOMAIN_TO_ALABEL,
 194   EOP_UTF8_LOCALPART_FROM_ALABEL,
 195   EOP_UTF8_LOCALPART_TO_ALABEL
 196 #endif
 197   };
 198
 199 static uschar *op_table_main[] = {
 200   US"address",
 201   US"addresses",
 202   US"base62",
 203   US"base62d",
 204   US"base64",
 205   US"base64d",
 206   US"domain",
 207   US"escape",
 208   US"eval",
 209   US"eval10",
 210   US"expand",
 211   US"h",
 212   US"hash",
 213   US"hex2b64",
 214   US"hexquote",
 215   US"ipv6denorm",
 216   US"ipv6norm",
 217   US"l",
 218   US"lc",
 219   US"length",
 220   US"listcount",
 221   US"listnamed",
 222   US"mask",
 223   US"md5",
 224   US"nh",
 225   US"nhash",
 226   US"quote",
 227   US"randint",
 228   US"rfc2047",
 229   US"rfc2047d",
 230   US"rxquote",
 231   US"s",
 232   US"sha1",
 233   US"sha256",
 234   US"stat",
 235   US"str2b64",
 236   US"strlen",
 237   US"substr",
 238   US"uc",
 239   US"utf8clean" };
 240
 241 enum {
 242   EOP_ADDRESS =  nelem(op_table_underscore),
 243   EOP_ADDRESSES,
 244   EOP_BASE62,
 245   EOP_BASE62D,
 246   EOP_BASE64,
 247   EOP_BASE64D,
 248   EOP_DOMAIN,
 249   EOP_ESCAPE,
 250   EOP_EVAL,
 251   EOP_EVAL10,
 252   EOP_EXPAND,
 253   EOP_H,
 254   EOP_HASH,
 255   EOP_HEX2B64,
 256   EOP_HEXQUOTE,
 257   EOP_IPV6DENORM,
 258   EOP_IPV6NORM,
 259   EOP_L,
 260   EOP_LC,
 261   EOP_LENGTH,
 262   EOP_LISTCOUNT,
 263   EOP_LISTNAMED,
 264   EOP_MASK,
 265   EOP_MD5,
 266   EOP_NH,
 267   EOP_NHASH,
 268   EOP_QUOTE,
 269   EOP_RANDINT,
 270   EOP_RFC2047,
 271   EOP_RFC2047D,
 272   EOP_RXQUOTE,
 273   EOP_S,
 274   EOP_SHA1,
 275   EOP_SHA256,
 276   EOP_STAT,
 277   EOP_STR2B64,
 278   EOP_STRLEN,
 279   EOP_SUBSTR,
 280   EOP_UC,
 281   EOP_UTF8CLEAN };
 282
 283
 284 /* Table of condition names, and corresponding switch numbers. The names must
 285 be in alphabetical order. */
 286
 287 static uschar *cond_table[] = {
 288   US"<",
 289   US"<=",
 290   US"=",
 291   US"==",     /* Backward compatibility */
 292   US">",
 293   US">=",
 294   US"acl",
 295   US"and",
 296   US"bool",
 297   US"bool_lax",
 298   US"crypteq",
 299   US"def",
 300   US"eq",
 301   US"eqi",
 302   US"exists",
 303   US"first_delivery",
 304   US"forall",
 305   US"forany",
 306   US"ge",
 307   US"gei",
 308   US"gt",
 309   US"gti",
 310   US"inlist",
 311   US"inlisti",
 312   US"isip",
 313   US"isip4",
 314   US"isip6",
 315   US"ldapauth",
 316   US"le",
 317   US"lei",
 318   US"lt",
 319   US"lti",
 320   US"match",
 321   US"match_address",
 322   US"match_domain",
 323   US"match_ip",
 324   US"match_local_part",
 325   US"or",
 326   US"pam",
 327   US"pwcheck",
 328   US"queue_running",
 329   US"radius",
 330   US"saslauthd"
 331 };
 332
 333 enum {
 334   ECOND_NUM_L,
 335   ECOND_NUM_LE,
 336   ECOND_NUM_E,
 337   ECOND_NUM_EE,
 338   ECOND_NUM_G,
 339   ECOND_NUM_GE,
 340   ECOND_ACL,
 341   ECOND_AND,
 342   ECOND_BOOL,
 343   ECOND_BOOL_LAX,
 344   ECOND_CRYPTEQ,
 345   ECOND_DEF,
 346   ECOND_STR_EQ,
 347   ECOND_STR_EQI,
 348   ECOND_EXISTS,
 349   ECOND_FIRST_DELIVERY,
 350   ECOND_FORALL,
 351   ECOND_FORANY,
 352   ECOND_STR_GE,
 353   ECOND_STR_GEI,
 354   ECOND_STR_GT,
 355   ECOND_STR_GTI,
 356   ECOND_INLIST,
 357   ECOND_INLISTI,
 358   ECOND_ISIP,
 359   ECOND_ISIP4,
 360   ECOND_ISIP6,
 361   ECOND_LDAPAUTH,
 362   ECOND_STR_LE,
 363   ECOND_STR_LEI,
 364   ECOND_STR_LT,
 365   ECOND_STR_LTI,
 366   ECOND_MATCH,
 367   ECOND_MATCH_ADDRESS,
 368   ECOND_MATCH_DOMAIN,
 369   ECOND_MATCH_IP,
 370   ECOND_MATCH_LOCAL_PART,
 371   ECOND_OR,
 372   ECOND_PAM,
 373   ECOND_PWCHECK,
 374   ECOND_QUEUE_RUNNING,
 375   ECOND_RADIUS,
 376   ECOND_SASLAUTHD
 377 };
 378
 379
 380 /* Types of table entry */
 381
 382 enum vtypes {
 383   vtype_int,            /* value is address of int */
 384   vtype_filter_int,     /* ditto, but recognized only when filtering */
 385   vtype_ino,            /* value is address of ino_t (not always an int) */
 386   vtype_uid,            /* value is address of uid_t (not always an int) */
 387   vtype_gid,            /* value is address of gid_t (not always an int) */
 388   vtype_bool,           /* value is address of bool */
 389   vtype_stringptr,      /* value is address of pointer to string */
 390   vtype_msgbody,        /* as stringptr, but read when first required */
 391   vtype_msgbody_end,    /* ditto, the end of the message */
 392   vtype_msgheaders,     /* the message's headers, processed */
 393   vtype_msgheaders_raw, /* the message's headers, unprocessed */
 394   vtype_localpart,      /* extract local part from string */
 395   vtype_domain,         /* extract domain from string */
 396   vtype_string_func,    /* value is string returned by given function */
 397   vtype_todbsdin,       /* value not used; generate BSD inbox tod */
 398   vtype_tode,           /* value not used; generate tod in epoch format */
 399   vtype_todel,          /* value not used; generate tod in epoch/usec format */
 400   vtype_todf,           /* value not used; generate full tod */
 401   vtype_todl,           /* value not used; generate log tod */
 402   vtype_todlf,          /* value not used; generate log file datestamp tod */
 403   vtype_todzone,        /* value not used; generate time zone only */
 404   vtype_todzulu,        /* value not used; generate zulu tod */
 405   vtype_reply,          /* value not used; get reply from headers */
 406   vtype_pid,            /* value not used; result is pid */
 407   vtype_host_lookup,    /* value not used; get host name */
 408   vtype_load_avg,       /* value not used; result is int from os_getloadavg */
 409   vtype_pspace,         /* partition space; value is T/F for spool/log */
 410   vtype_pinodes,        /* partition inodes; value is T/F for spool/log */
 411   vtype_cert            /* SSL certificate */
 412   #ifndef DISABLE_DKIM
 413   ,vtype_dkim           /* Lookup of value in DKIM signature */
 414   #endif
 415 };
 416
 417 /* Type for main variable table */
 418
 419 typedef struct {
 420   const char *name;
 421   enum vtypes type;
 422   void       *value;
 423 } var_entry;
 424
 425 /* Type for entries pointing to address/length pairs. Not currently
 426 in use. */
 427
 428 typedef struct {
 429   uschar **address;
 430   int  *length;
 431 } alblock;
 432
 433 static uschar * fn_recipients(void);
 434
 435 /* This table must be kept in alphabetical order. */
 436
 437 static var_entry var_table[] = {
 438   /* WARNING: Do not invent variables whose names start acl_c or acl_m because
 439      they will be confused with user-creatable ACL variables. */
 440   { "acl_arg1",            vtype_stringptr,   &acl_arg[0] },
 441   { "acl_arg2",            vtype_stringptr,   &acl_arg[1] },
 442   { "acl_arg3",            vtype_stringptr,   &acl_arg[2] },
 443   { "acl_arg4",            vtype_stringptr,   &acl_arg[3] },
 444   { "acl_arg5",            vtype_stringptr,   &acl_arg[4] },
 445   { "acl_arg6",            vtype_stringptr,   &acl_arg[5] },
 446   { "acl_arg7",            vtype_stringptr,   &acl_arg[6] },
 447   { "acl_arg8",            vtype_stringptr,   &acl_arg[7] },
 448   { "acl_arg9",            vtype_stringptr,   &acl_arg[8] },
 449   { "acl_narg",            vtype_int,         &acl_narg },
 450   { "acl_verify_message",  vtype_stringptr,   &acl_verify_message },
 451   { "address_data",        vtype_stringptr,   &deliver_address_data },
 452   { "address_file",        vtype_stringptr,   &address_file },
 453   { "address_pipe",        vtype_stringptr,   &address_pipe },
 454   { "authenticated_fail_id",vtype_stringptr,  &authenticated_fail_id },
 455   { "authenticated_id",    vtype_stringptr,   &authenticated_id },
 456   { "authenticated_sender",vtype_stringptr,   &authenticated_sender },
 457   { "authentication_failed",vtype_int,        &authentication_failed },
 458 #ifdef WITH_CONTENT_SCAN
 459   { "av_failed",           vtype_int,         &av_failed },
 460 #endif
 461 #ifdef EXPERIMENTAL_BRIGHTMAIL
 462   { "bmi_alt_location",    vtype_stringptr,   &bmi_alt_location },
 463   { "bmi_base64_tracker_verdict", vtype_stringptr, &bmi_base64_tracker_verdict },
 464   { "bmi_base64_verdict",  vtype_stringptr,   &bmi_base64_verdict },
 465   { "bmi_deliver",         vtype_int,         &bmi_deliver },
 466 #endif
 467   { "body_linecount",      vtype_int,         &body_linecount },
 468   { "body_zerocount",      vtype_int,         &body_zerocount },
 469   { "bounce_recipient",    vtype_stringptr,   &bounce_recipient },
 470   { "bounce_return_size_limit", vtype_int,    &bounce_return_size_limit },
 471   { "caller_gid",          vtype_gid,         &real_gid },
 472   { "caller_uid",          vtype_uid,         &real_uid },
 473   { "callout_address",     vtype_stringptr,   &callout_address },
 474   { "compile_date",        vtype_stringptr,   &version_date },
 475   { "compile_number",      vtype_stringptr,   &version_cnumber },
 476   { "config_dir",          vtype_stringptr,   &config_main_directory },
 477   { "config_file",         vtype_stringptr,   &config_main_filename },
 478   { "csa_status",          vtype_stringptr,   &csa_status },
 479 #ifdef EXPERIMENTAL_DCC
 480   { "dcc_header",          vtype_stringptr,   &dcc_header },
 481   { "dcc_result",          vtype_stringptr,   &dcc_result },
 482 #endif
 483 #ifndef DISABLE_DKIM
 484   { "dkim_algo",           vtype_dkim,        (void *)DKIM_ALGO },
 485   { "dkim_bodylength",     vtype_dkim,        (void *)DKIM_BODYLENGTH },
 486   { "dkim_canon_body",     vtype_dkim,        (void *)DKIM_CANON_BODY },
 487   { "dkim_canon_headers",  vtype_dkim,        (void *)DKIM_CANON_HEADERS },
 488   { "dkim_copiedheaders",  vtype_dkim,        (void *)DKIM_COPIEDHEADERS },
 489   { "dkim_created",        vtype_dkim,        (void *)DKIM_CREATED },
 490   { "dkim_cur_signer",     vtype_stringptr,   &dkim_cur_signer },
 491   { "dkim_domain",         vtype_stringptr,   &dkim_signing_domain },
 492   { "dkim_expires",        vtype_dkim,        (void *)DKIM_EXPIRES },
 493   { "dkim_headernames",    vtype_dkim,        (void *)DKIM_HEADERNAMES },
 494   { "dkim_identity",       vtype_dkim,        (void *)DKIM_IDENTITY },
 495   { "dkim_key_granularity",vtype_dkim,        (void *)DKIM_KEY_GRANULARITY },
 496   { "dkim_key_length",     vtype_int,         &dkim_key_length },
 497   { "dkim_key_nosubdomains",vtype_dkim,       (void *)DKIM_NOSUBDOMAINS },
 498   { "dkim_key_notes",      vtype_dkim,        (void *)DKIM_KEY_NOTES },
 499   { "dkim_key_srvtype",    vtype_dkim,        (void *)DKIM_KEY_SRVTYPE },
 500   { "dkim_key_testing",    vtype_dkim,        (void *)DKIM_KEY_TESTING },
 501   { "dkim_selector",       vtype_stringptr,   &dkim_signing_selector },
 502   { "dkim_signers",        vtype_stringptr,   &dkim_signers },
 503   { "dkim_verify_reason",  vtype_dkim,        (void *)DKIM_VERIFY_REASON },
 504   { "dkim_verify_status",  vtype_dkim,        (void *)DKIM_VERIFY_STATUS},
 505 #endif
 506 #ifdef EXPERIMENTAL_DMARC
 507   { "dmarc_ar_header",     vtype_stringptr,   &dmarc_ar_header },
 508   { "dmarc_domain_policy", vtype_stringptr,   &dmarc_domain_policy },
 509   { "dmarc_status",        vtype_stringptr,   &dmarc_status },
 510   { "dmarc_status_text",   vtype_stringptr,   &dmarc_status_text },
 511   { "dmarc_used_domain",   vtype_stringptr,   &dmarc_used_domain },
 512 #endif
 513   { "dnslist_domain",      vtype_stringptr,   &dnslist_domain },
 514   { "dnslist_matched",     vtype_stringptr,   &dnslist_matched },
 515   { "dnslist_text",        vtype_stringptr,   &dnslist_text },
 516   { "dnslist_value",       vtype_stringptr,   &dnslist_value },
 517   { "domain",              vtype_stringptr,   &deliver_domain },
 518   { "domain_data",         vtype_stringptr,   &deliver_domain_data },
 519 #ifndef DISABLE_EVENT
 520   { "event_data",          vtype_stringptr,   &event_data },
 521
 522   /*XXX want to use generic vars for as many of these as possible*/
 523   { "event_defer_errno",   vtype_int,         &event_defer_errno },
 524
 525   { "event_name",          vtype_stringptr,   &event_name },
 526 #endif
 527   { "exim_gid",            vtype_gid,         &exim_gid },
 528   { "exim_path",           vtype_stringptr,   &exim_path },
 529   { "exim_uid",            vtype_uid,         &exim_uid },
 530   { "exim_version",        vtype_stringptr,   &version_string },
 531   { "headers_added",       vtype_string_func, &fn_hdrs_added },
 532   { "home",                vtype_stringptr,   &deliver_home },
 533   { "host",                vtype_stringptr,   &deliver_host },
 534   { "host_address",        vtype_stringptr,   &deliver_host_address },
 535   { "host_data",           vtype_stringptr,   &host_data },
 536   { "host_lookup_deferred",vtype_int,         &host_lookup_deferred },
 537   { "host_lookup_failed",  vtype_int,         &host_lookup_failed },
 538   { "host_port",           vtype_int,         &deliver_host_port },
 539   { "initial_cwd",         vtype_stringptr,   &initial_cwd },
 540   { "inode",               vtype_ino,         &deliver_inode },
 541   { "interface_address",   vtype_stringptr,   &interface_address },
 542   { "interface_port",      vtype_int,         &interface_port },
 543   { "item",                vtype_stringptr,   &iterate_item },
 544   #ifdef LOOKUP_LDAP
 545   { "ldap_dn",             vtype_stringptr,   &eldap_dn },
 546   #endif
 547   { "load_average",        vtype_load_avg,    NULL },
 548   { "local_part",          vtype_stringptr,   &deliver_localpart },
 549   { "local_part_data",     vtype_stringptr,   &deliver_localpart_data },
 550   { "local_part_prefix",   vtype_stringptr,   &deliver_localpart_prefix },
 551   { "local_part_suffix",   vtype_stringptr,   &deliver_localpart_suffix },
 552   { "local_scan_data",     vtype_stringptr,   &local_scan_data },
 553   { "local_user_gid",      vtype_gid,         &local_user_gid },
 554   { "local_user_uid",      vtype_uid,         &local_user_uid },
 555   { "localhost_number",    vtype_int,         &host_number },
 556   { "log_inodes",          vtype_pinodes,     (void *)FALSE },
 557   { "log_space",           vtype_pspace,      (void *)FALSE },
 558   { "lookup_dnssec_authenticated",vtype_stringptr,&lookup_dnssec_authenticated},
 559   { "mailstore_basename",  vtype_stringptr,   &mailstore_basename },
 560 #ifdef WITH_CONTENT_SCAN
 561   { "malware_name",        vtype_stringptr,   &malware_name },
 562 #endif
 563   { "max_received_linelength", vtype_int,     &max_received_linelength },
 564   { "message_age",         vtype_int,         &message_age },
 565   { "message_body",        vtype_msgbody,     &message_body },
 566   { "message_body_end",    vtype_msgbody_end, &message_body_end },
 567   { "message_body_size",   vtype_int,         &message_body_size },
 568   { "message_exim_id",     vtype_stringptr,   &message_id },
 569   { "message_headers",     vtype_msgheaders,  NULL },
 570   { "message_headers_raw", vtype_msgheaders_raw, NULL },
 571   { "message_id",          vtype_stringptr,   &message_id },
 572   { "message_linecount",   vtype_int,         &message_linecount },
 573   { "message_size",        vtype_int,         &message_size },
 574 #ifdef SUPPORT_I18N
 575   { "message_smtputf8",    vtype_bool,        &message_smtputf8 },
 576 #endif
 577 #ifdef WITH_CONTENT_SCAN
 578   { "mime_anomaly_level",  vtype_int,         &mime_anomaly_level },
 579   { "mime_anomaly_text",   vtype_stringptr,   &mime_anomaly_text },
 580   { "mime_boundary",       vtype_stringptr,   &mime_boundary },
 581   { "mime_charset",        vtype_stringptr,   &mime_charset },
 582   { "mime_content_description", vtype_stringptr, &mime_content_description },
 583   { "mime_content_disposition", vtype_stringptr, &mime_content_disposition },
 584   { "mime_content_id",     vtype_stringptr,   &mime_content_id },
 585   { "mime_content_size",   vtype_int,         &mime_content_size },
 586   { "mime_content_transfer_encoding",vtype_stringptr, &mime_content_transfer_encoding },
 587   { "mime_content_type",   vtype_stringptr,   &mime_content_type },
 588   { "mime_decoded_filename", vtype_stringptr, &mime_decoded_filename },
 589   { "mime_filename",       vtype_stringptr,   &mime_filename },
 590   { "mime_is_coverletter", vtype_int,         &mime_is_coverletter },
 591   { "mime_is_multipart",   vtype_int,         &mime_is_multipart },
 592   { "mime_is_rfc822",      vtype_int,         &mime_is_rfc822 },
 593   { "mime_part_count",     vtype_int,         &mime_part_count },
 594 #endif
 595   { "n0",                  vtype_filter_int,  &filter_n[0] },
 596   { "n1",                  vtype_filter_int,  &filter_n[1] },
 597   { "n2",                  vtype_filter_int,  &filter_n[2] },
 598   { "n3",                  vtype_filter_int,  &filter_n[3] },
 599   { "n4",                  vtype_filter_int,  &filter_n[4] },
 600   { "n5",                  vtype_filter_int,  &filter_n[5] },
 601   { "n6",                  vtype_filter_int,  &filter_n[6] },
 602   { "n7",                  vtype_filter_int,  &filter_n[7] },
 603   { "n8",                  vtype_filter_int,  &filter_n[8] },
 604   { "n9",                  vtype_filter_int,  &filter_n[9] },
 605   { "original_domain",     vtype_stringptr,   &deliver_domain_orig },
 606   { "original_local_part", vtype_stringptr,   &deliver_localpart_orig },
 607   { "originator_gid",      vtype_gid,         &originator_gid },
 608   { "originator_uid",      vtype_uid,         &originator_uid },
 609   { "parent_domain",       vtype_stringptr,   &deliver_domain_parent },
 610   { "parent_local_part",   vtype_stringptr,   &deliver_localpart_parent },
 611   { "pid",                 vtype_pid,         NULL },
 612 #ifndef DISABLE_PRDR
 613   { "prdr_requested",      vtype_bool,        &prdr_requested },
 614 #endif
 615   { "primary_hostname",    vtype_stringptr,   &primary_hostname },
 616 #if defined(SUPPORT_PROXY) || defined(SUPPORT_SOCKS)
 617   { "proxy_external_address",vtype_stringptr, &proxy_external_address },
 618   { "proxy_external_port", vtype_int,         &proxy_external_port },
 619   { "proxy_local_address", vtype_stringptr,   &proxy_local_address },
 620   { "proxy_local_port",    vtype_int,         &proxy_local_port },
 621   { "proxy_session",       vtype_bool,        &proxy_session },
 622 #endif
 623   { "prvscheck_address",   vtype_stringptr,   &prvscheck_address },
 624   { "prvscheck_keynum",    vtype_stringptr,   &prvscheck_keynum },
 625   { "prvscheck_result",    vtype_stringptr,   &prvscheck_result },
 626   { "qualify_domain",      vtype_stringptr,   &qualify_domain_sender },
 627   { "qualify_recipient",   vtype_stringptr,   &qualify_domain_recipient },
 628   { "rcpt_count",          vtype_int,         &rcpt_count },
 629   { "rcpt_defer_count",    vtype_int,         &rcpt_defer_count },
 630   { "rcpt_fail_count",     vtype_int,         &rcpt_fail_count },
 631   { "received_count",      vtype_int,         &received_count },
 632   { "received_for",        vtype_stringptr,   &received_for },
 633   { "received_ip_address", vtype_stringptr,   &interface_address },
 634   { "received_port",       vtype_int,         &interface_port },
 635   { "received_protocol",   vtype_stringptr,   &received_protocol },
 636   { "received_time",       vtype_int,         &received_time },
 637   { "recipient_data",      vtype_stringptr,   &recipient_data },
 638   { "recipient_verify_failure",vtype_stringptr,&recipient_verify_failure },
 639   { "recipients",          vtype_string_func, &fn_recipients },
 640   { "recipients_count",    vtype_int,         &recipients_count },
 641 #ifdef WITH_CONTENT_SCAN
 642   { "regex_match_string",  vtype_stringptr,   &regex_match_string },
 643 #endif
 644   { "reply_address",       vtype_reply,       NULL },
 645   { "return_path",         vtype_stringptr,   &return_path },
 646   { "return_size_limit",   vtype_int,         &bounce_return_size_limit },
 647   { "router_name",         vtype_stringptr,   &router_name },
 648   { "runrc",               vtype_int,         &runrc },
 649   { "self_hostname",       vtype_stringptr,   &self_hostname },
 650   { "sender_address",      vtype_stringptr,   &sender_address },
 651   { "sender_address_data", vtype_stringptr,   &sender_address_data },
 652   { "sender_address_domain", vtype_domain,    &sender_address },
 653   { "sender_address_local_part", vtype_localpart, &sender_address },
 654   { "sender_data",         vtype_stringptr,   &sender_data },
 655   { "sender_fullhost",     vtype_stringptr,   &sender_fullhost },
 656   { "sender_helo_dnssec",  vtype_bool,        &sender_helo_dnssec },
 657   { "sender_helo_name",    vtype_stringptr,   &sender_helo_name },
 658   { "sender_host_address", vtype_stringptr,   &sender_host_address },
 659   { "sender_host_authenticated",vtype_stringptr, &sender_host_authenticated },
 660   { "sender_host_dnssec",  vtype_bool,        &sender_host_dnssec },
 661   { "sender_host_name",    vtype_host_lookup, NULL },
 662   { "sender_host_port",    vtype_int,         &sender_host_port },
 663   { "sender_ident",        vtype_stringptr,   &sender_ident },
 664   { "sender_rate",         vtype_stringptr,   &sender_rate },
 665   { "sender_rate_limit",   vtype_stringptr,   &sender_rate_limit },
 666   { "sender_rate_period",  vtype_stringptr,   &sender_rate_period },
 667   { "sender_rcvhost",      vtype_stringptr,   &sender_rcvhost },
 668   { "sender_verify_failure",vtype_stringptr,  &sender_verify_failure },
 669   { "sending_ip_address",  vtype_stringptr,   &sending_ip_address },
 670   { "sending_port",        vtype_int,         &sending_port },
 671   { "smtp_active_hostname", vtype_stringptr,  &smtp_active_hostname },
 672   { "smtp_command",        vtype_stringptr,   &smtp_cmd_buffer },
 673   { "smtp_command_argument", vtype_stringptr, &smtp_cmd_argument },
 674   { "smtp_count_at_connection_start", vtype_int, &smtp_accept_count },
 675   { "smtp_notquit_reason", vtype_stringptr,   &smtp_notquit_reason },
 676   { "sn0",                 vtype_filter_int,  &filter_sn[0] },
 677   { "sn1",                 vtype_filter_int,  &filter_sn[1] },
 678   { "sn2",                 vtype_filter_int,  &filter_sn[2] },
 679   { "sn3",                 vtype_filter_int,  &filter_sn[3] },
 680   { "sn4",                 vtype_filter_int,  &filter_sn[4] },
 681   { "sn5",                 vtype_filter_int,  &filter_sn[5] },
 682   { "sn6",                 vtype_filter_int,  &filter_sn[6] },
 683   { "sn7",                 vtype_filter_int,  &filter_sn[7] },
 684   { "sn8",                 vtype_filter_int,  &filter_sn[8] },
 685   { "sn9",                 vtype_filter_int,  &filter_sn[9] },
 686 #ifdef WITH_CONTENT_SCAN
 687   { "spam_action",         vtype_stringptr,   &spam_action },
 688   { "spam_bar",            vtype_stringptr,   &spam_bar },
 689   { "spam_report",         vtype_stringptr,   &spam_report },
 690   { "spam_score",          vtype_stringptr,   &spam_score },
 691   { "spam_score_int",      vtype_stringptr,   &spam_score_int },
 692 #endif
 693 #ifdef EXPERIMENTAL_SPF
 694   { "spf_guess",           vtype_stringptr,   &spf_guess },
 695   { "spf_header_comment",  vtype_stringptr,   &spf_header_comment },
 696   { "spf_received",        vtype_stringptr,   &spf_received },
 697   { "spf_result",          vtype_stringptr,   &spf_result },
 698   { "spf_smtp_comment",    vtype_stringptr,   &spf_smtp_comment },
 699 #endif
 700   { "spool_directory",     vtype_stringptr,   &spool_directory },
 701   { "spool_inodes",        vtype_pinodes,     (void *)TRUE },
 702   { "spool_space",         vtype_pspace,      (void *)TRUE },
 703 #ifdef EXPERIMENTAL_SRS
 704   { "srs_db_address",      vtype_stringptr,   &srs_db_address },
 705   { "srs_db_key",          vtype_stringptr,   &srs_db_key },
 706   { "srs_orig_recipient",  vtype_stringptr,   &srs_orig_recipient },
 707   { "srs_orig_sender",     vtype_stringptr,   &srs_orig_sender },
 708   { "srs_recipient",       vtype_stringptr,   &srs_recipient },
 709   { "srs_status",          vtype_stringptr,   &srs_status },
 710 #endif
 711   { "thisaddress",         vtype_stringptr,   &filter_thisaddress },
 712
 713   /* The non-(in,out) variables are now deprecated */
 714   { "tls_bits",            vtype_int,         &tls_in.bits },
 715   { "tls_certificate_verified", vtype_int,    &tls_in.certificate_verified },
 716   { "tls_cipher",          vtype_stringptr,   &tls_in.cipher },
 717
 718   { "tls_in_bits",         vtype_int,         &tls_in.bits },
 719   { "tls_in_certificate_verified", vtype_int, &tls_in.certificate_verified },
 720   { "tls_in_cipher",       vtype_stringptr,   &tls_in.cipher },
 721   { "tls_in_ocsp",         vtype_int,         &tls_in.ocsp },
 722   { "tls_in_ourcert",      vtype_cert,        &tls_in.ourcert },
 723   { "tls_in_peercert",     vtype_cert,        &tls_in.peercert },
 724   { "tls_in_peerdn",       vtype_stringptr,   &tls_in.peerdn },
 725 #if defined(SUPPORT_TLS)
 726   { "tls_in_sni",          vtype_stringptr,   &tls_in.sni },
 727 #endif
 728   { "tls_out_bits",        vtype_int,         &tls_out.bits },
 729   { "tls_out_certificate_verified", vtype_int,&tls_out.certificate_verified },
 730   { "tls_out_cipher",      vtype_stringptr,   &tls_out.cipher },
 731 #ifdef EXPERIMENTAL_DANE
 732   { "tls_out_dane",        vtype_bool,        &tls_out.dane_verified },
 733 #endif
 734   { "tls_out_ocsp",        vtype_int,         &tls_out.ocsp },
 735   { "tls_out_ourcert",     vtype_cert,        &tls_out.ourcert },
 736   { "tls_out_peercert",    vtype_cert,        &tls_out.peercert },
 737   { "tls_out_peerdn",      vtype_stringptr,   &tls_out.peerdn },
 738 #if defined(SUPPORT_TLS)
 739   { "tls_out_sni",         vtype_stringptr,   &tls_out.sni },
 740 #endif
 741 #ifdef EXPERIMENTAL_DANE
 742   { "tls_out_tlsa_usage",  vtype_int,         &tls_out.tlsa_usage },
 743 #endif
 744
 745   { "tls_peerdn",          vtype_stringptr,   &tls_in.peerdn }, /* mind the alphabetical order! */
 746 #if defined(SUPPORT_TLS)
 747   { "tls_sni",             vtype_stringptr,   &tls_in.sni },    /* mind the alphabetical order! */
 748 #endif
 749
 750   { "tod_bsdinbox",        vtype_todbsdin,    NULL },
 751   { "tod_epoch",           vtype_tode,        NULL },
 752   { "tod_epoch_l",         vtype_todel,       NULL },
 753   { "tod_full",            vtype_todf,        NULL },
 754   { "tod_log",             vtype_todl,        NULL },
 755   { "tod_logfile",         vtype_todlf,       NULL },
 756   { "tod_zone",            vtype_todzone,     NULL },
 757   { "tod_zulu",            vtype_todzulu,     NULL },
 758   { "transport_name",      vtype_stringptr,   &transport_name },
 759   { "value",               vtype_stringptr,   &lookup_value },
 760   { "verify_mode",         vtype_stringptr,   &verify_mode },
 761   { "version_number",      vtype_stringptr,   &version_string },
 762   { "warn_message_delay",  vtype_stringptr,   &warnmsg_delay },
 763   { "warn_message_recipient",vtype_stringptr, &warnmsg_recipients },
 764   { "warn_message_recipients",vtype_stringptr,&warnmsg_recipients },
 765   { "warnmsg_delay",       vtype_stringptr,   &warnmsg_delay },
 766   { "warnmsg_recipient",   vtype_stringptr,   &warnmsg_recipients },
 767   { "warnmsg_recipients",  vtype_stringptr,   &warnmsg_recipients }
 768 };
 769
 770 static int var_table_size = nelem(var_table);
 771 static uschar var_buffer[256];
 772 static BOOL malformed_header;
 773
 774 /* For textual hashes */
 775
 776 static const char *hashcodes = "abcdefghijklmnopqrtsuvwxyz"
 777                                "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
 778                                "0123456789";
 779
 780 enum { HMAC_MD5, HMAC_SHA1 };
 781
 782 /* For numeric hashes */
 783
 784 static unsigned int prime[] = {
 785   2,   3,   5,   7,  11,  13,  17,  19,  23,  29,
 786  31,  37,  41,  43,  47,  53,  59,  61,  67,  71,
 787  73,  79,  83,  89,  97, 101, 103, 107, 109, 113};
 788
 789 /* For printing modes in symbolic form */
 790
 791 static uschar *mtable_normal[] =
 792   { US"---", US"--x", US"-w-", US"-wx", US"r--", US"r-x", US"rw-", US"rwx" };
 793
 794 static uschar *mtable_setid[] =
 795   { US"--S", US"--s", US"-wS", US"-ws", US"r-S", US"r-s", US"rwS", US"rws" };
 796
 797 static uschar *mtable_sticky[] =
 798   { US"--T", US"--t", US"-wT", US"-wt", US"r-T", US"r-t", US"rwT", US"rwt" };
 799
 800
 801
 802 /*************************************************
 803 *           Tables for UTF-8 support             *
 804 *************************************************/
 805
 806 /* Table of the number of extra characters, indexed by the first character
 807 masked with 0x3f. The highest number for a valid UTF-8 character is in fact
 808 0x3d. */
 809
 810 static uschar utf8_table1[] = {
 811   1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
 812   1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
 813   2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,
 814   3,3,3,3,3,3,3,3,4,4,4,4,5,5,5,5 };
 815
 816 /* These are the masks for the data bits in the first byte of a character,
 817 indexed by the number of additional bytes. */
 818
 819 static int utf8_table2[] = { 0xff, 0x1f, 0x0f, 0x07, 0x03, 0x01};
 820
 821 /* Get the next UTF-8 character, advancing the pointer. */
 822
 823 #define GETUTF8INC(c, ptr) \
 824   c = *ptr++; \
 825   if ((c & 0xc0) == 0xc0) \
 826     { \
 827     int a = utf8_table1[c & 0x3f];  /* Number of additional bytes */ \
 828     int s = 6*a; \
 829     c = (c & utf8_table2[a]) << s; \
 830     while (a-- > 0) \
 831       { \
 832       s -= 6; \
 833       c |= (*ptr++ & 0x3f) << s; \
 834       } \
 835     }
 836
 837
 838 /*************************************************
 839 *           Binary chop search on a table        *
 840 *************************************************/
 841
 842 /* This is used for matching expansion items and operators.
 843
 844 Arguments:
 845   name        the name that is being sought
 846   table       the table to search
 847   table_size  the number of items in the table
 848
 849 Returns:      the offset in the table, or -1
 850 */
 851
 852 static int
 853 chop_match(uschar *name, uschar **table, int table_size)
 854 {
 855 uschar **bot = table;
 856 uschar **top = table + table_size;
 857
 858 while (top > bot)
 859   {
 860   uschar **mid = bot + (top - bot)/2;
 861   int c = Ustrcmp(name, *mid);
 862   if (c == 0) return mid - table;
 863   if (c > 0) bot = mid + 1; else top = mid;
 864   }
 865
 866 return -1;
 867 }
 868
 869
 870
 871 /*************************************************
 872 *          Check a condition string              *
 873 *************************************************/
 874
 875 /* This function is called to expand a string, and test the result for a "true"
 876 or "false" value. Failure of the expansion yields FALSE; logged unless it was a
 877 forced fail or lookup defer.
 878
 879 We used to release all store used, but this is not not safe due
 880 to ${dlfunc } and ${acl }.  In any case expand_string_internal()
 881 is reasonably careful to release what it can.
 882
 883 The actual false-value tests should be replicated for ECOND_BOOL_LAX.
 884
 885 Arguments:
 886   condition     the condition string
 887   m1            text to be incorporated in panic error
 888   m2            ditto
 889
 890 Returns:        TRUE if condition is met, FALSE if not
 891 */
 892
 893 BOOL
 894 expand_check_condition(uschar *condition, uschar *m1, uschar *m2)
 895 {
 896 int rc;
 897 uschar *ss = expand_string(condition);
 898 if (ss == NULL)
 899   {
 900   if (!expand_string_forcedfail && !search_find_defer)
 901     log_write(0, LOG_MAIN|LOG_PANIC, "failed to expand condition \"%s\" "
 902       "for %s %s: %s", condition, m1, m2, expand_string_message);
 903   return FALSE;
 904   }
 905 rc = ss[0] != 0 && Ustrcmp(ss, "0") != 0 && strcmpic(ss, US"no") != 0 &&
 906   strcmpic(ss, US"false") != 0;
 907 return rc;
 908 }
 909
 910
 911
 912
 913 /*************************************************
 914 *        Pseudo-random number generation         *
 915 *************************************************/
 916
 917 /* Pseudo-random number generation.  The result is not "expected" to be
 918 cryptographically strong but not so weak that someone will shoot themselves
 919 in the foot using it as a nonce in some email header scheme or whatever
 920 weirdness they'll twist this into.  The result should ideally handle fork().
 921
 922 However, if we're stuck unable to provide this, then we'll fall back to
 923 appallingly bad randomness.
 924
 925 If SUPPORT_TLS is defined then this will not be used except as an emergency
 926 fallback.
 927
 928 Arguments:
 929   max       range maximum
 930 Returns     a random number in range [0, max-1]
 931 */
 932
 933 #ifdef SUPPORT_TLS
 934 # define vaguely_random_number vaguely_random_number_fallback
 935 #endif
 936 int
 937 vaguely_random_number(int max)
 938 {
 939 #ifdef SUPPORT_TLS
 940 # undef vaguely_random_number
 941 #endif
 942   static pid_t pid = 0;
 943   pid_t p2;
 944 #if defined(HAVE_SRANDOM) && !defined(HAVE_SRANDOMDEV)
 945   struct timeval tv;
 946 #endif
 947
 948   p2 = getpid();
 949   if (p2 != pid)
 950     {
 951     if (pid != 0)
 952       {
 953
 954 #ifdef HAVE_ARC4RANDOM
 955       /* cryptographically strong randomness, common on *BSD platforms, not
 956       so much elsewhere.  Alas. */
 957 #ifndef NOT_HAVE_ARC4RANDOM_STIR
 958       arc4random_stir();
 959 #endif
 960 #elif defined(HAVE_SRANDOM) || defined(HAVE_SRANDOMDEV)
 961 #ifdef HAVE_SRANDOMDEV
 962       /* uses random(4) for seeding */
 963       srandomdev();
 964 #else
 965       gettimeofday(&tv, NULL);
 966       srandom(tv.tv_sec | tv.tv_usec | getpid());
 967 #endif
 968 #else
 969       /* Poor randomness and no seeding here */
 970 #endif
 971
 972       }
 973     pid = p2;
 974     }
 975
 976 #ifdef HAVE_ARC4RANDOM
 977   return arc4random() % max;
 978 #elif defined(HAVE_SRANDOM) || defined(HAVE_SRANDOMDEV)
 979   return random() % max;
 980 #else
 981   /* This one returns a 16-bit number, definitely not crypto-strong */
 982   return random_number(max);
 983 #endif
 984 }
 985
 986
 987
 988
 989 /*************************************************
 990 *             Pick out a name from a string      *
 991 *************************************************/
 992
 993 /* If the name is too long, it is silently truncated.
 994
 995 Arguments:
 996   name      points to a buffer into which to put the name
 997   max       is the length of the buffer
 998   s         points to the first alphabetic character of the name
 999   extras    chars other than alphanumerics to permit
1000
1001 Returns:    pointer to the first character after the name
1002
1003 Note: The test for *s != 0 in the while loop is necessary because
1004 Ustrchr() yields non-NULL if the character is zero (which is not something
1005 I expected). */
1006
1007 static const uschar *
1008 read_name(uschar *name, int max, const uschar *s, uschar *extras)
1009 {
1010 int ptr = 0;
1011 while (*s != 0 && (isalnum(*s) || Ustrchr(extras, *s) != NULL))
1012   {
1013   if (ptr < max-1) name[ptr++] = *s;
1014   s++;
1015   }
1016 name[ptr] = 0;
1017 return s;
1018 }
1019
1020
1021
1022 /*************************************************
1023 *     Pick out the rest of a header name         *
1024 *************************************************/
1025
1026 /* A variable name starting $header_ (or just $h_ for those who like
1027 abbreviations) might not be the complete header name because headers can
1028 contain any printing characters in their names, except ':'. This function is
1029 called to read the rest of the name, chop h[eader]_ off the front, and put ':'
1030 on the end, if the name was terminated by white space.
1031
1032 Arguments:
1033   name      points to a buffer in which the name read so far exists
1034   max       is the length of the buffer
1035   s         points to the first character after the name so far, i.e. the
1036             first non-alphameric character after $header_xxxxx
1037
1038 Returns:    a pointer to the first character after the header name
1039 */
1040
1041 static const uschar *
1042 read_header_name(uschar *name, int max, const uschar *s)
1043 {
1044 int prelen = Ustrchr(name, '_') - name + 1;
1045 int ptr = Ustrlen(name) - prelen;
1046 if (ptr > 0) memmove(name, name+prelen, ptr);
1047 while (mac_isgraph(*s) && *s != ':')
1048   {
1049   if (ptr < max-1) name[ptr++] = *s;
1050   s++;
1051   }
1052 if (*s == ':') s++;
1053 name[ptr++] = ':';
1054 name[ptr] = 0;
1055 return s;
1056 }
1057
1058
1059
1060 /*************************************************
1061 *           Pick out a number from a string      *
1062 *************************************************/
1063
1064 /* Arguments:
1065   n     points to an integer into which to put the number
1066   s     points to the first digit of the number
1067
1068 Returns:  a pointer to the character after the last digit
1069 */
1070 /*XXX consider expanding to int_eximarith_t.  But the test for
1071 "overbig numbers" in 0002 still needs to overflow it. */
1072
1073 static uschar *
1074 read_number(int *n, uschar *s)
1075 {
1076 *n = 0;
1077 while (isdigit(*s)) *n = *n * 10 + (*s++ - '0');
1078 return s;
1079 }
1080
1081 static const uschar *
1082 read_cnumber(int *n, const uschar *s)
1083 {
1084 *n = 0;
1085 while (isdigit(*s)) *n = *n * 10 + (*s++ - '0');
1086 return s;
1087 }
1088
1089
1090
1091 /*************************************************
1092 *        Extract keyed subfield from a string    *
1093 *************************************************/
1094
1095 /* The yield is in dynamic store; NULL means that the key was not found.
1096
1097 Arguments:
1098   key       points to the name of the key
1099   s         points to the string from which to extract the subfield
1100
1101 Returns:    NULL if the subfield was not found, or
1102             a pointer to the subfield's data
1103 */
1104
1105 static uschar *
1106 expand_getkeyed(uschar *key, const uschar *s)
1107 {
1108 int length = Ustrlen(key);
1109 while (isspace(*s)) s++;
1110
1111 /* Loop to search for the key */
1112
1113 while (*s != 0)
1114   {
1115   int dkeylength;
1116   uschar *data;
1117   const uschar *dkey = s;
1118
1119   while (*s != 0 && *s != '=' && !isspace(*s)) s++;
1120   dkeylength = s - dkey;
1121   while (isspace(*s)) s++;
1122   if (*s == '=') while (isspace((*(++s))));
1123
1124   data = string_dequote(&s);
1125   if (length == dkeylength && strncmpic(key, dkey, length) == 0)
1126     return data;
1127
1128   while (isspace(*s)) s++;
1129   }
1130
1131 return NULL;
1132 }
1133
1134
1135
1136 static var_entry *
1137 find_var_ent(uschar * name)
1138 {
1139 int first = 0;
1140 int last = var_table_size;
1141
1142 while (last > first)
1143   {
1144   int middle = (first + last)/2;
1145   int c = Ustrcmp(name, var_table[middle].name);
1146
1147   if (c > 0) { first = middle + 1; continue; }
1148   if (c < 0) { last = middle; continue; }
1149   return &var_table[middle];
1150   }
1151 return NULL;
1152 }
1153
1154 /*************************************************
1155 *   Extract numbered subfield from string        *
1156 *************************************************/
1157
1158 /* Extracts a numbered field from a string that is divided by tokens - for
1159 example a line from /etc/passwd is divided by colon characters.  First field is
1160 numbered one.  Negative arguments count from the right. Zero returns the whole
1161 string. Returns NULL if there are insufficient tokens in the string
1162
1163 ***WARNING***
1164 Modifies final argument - this is a dynamically generated string, so that's OK.
1165
1166 Arguments:
1167   field       number of field to be extracted,
1168                 first field = 1, whole string = 0, last field = -1
1169   separators  characters that are used to break string into tokens
1170   s           points to the string from which to extract the subfield
1171
1172 Returns:      NULL if the field was not found,
1173               a pointer to the field's data inside s (modified to add 0)
1174 */
1175
1176 static uschar *
1177 expand_gettokened (int field, uschar *separators, uschar *s)
1178 {
1179 int sep = 1;
1180 int count;
1181 uschar *ss = s;
1182 uschar *fieldtext = NULL;
1183
1184 if (field == 0) return s;
1185
1186 /* Break the line up into fields in place; for field > 0 we stop when we have
1187 done the number of fields we want. For field < 0 we continue till the end of
1188 the string, counting the number of fields. */
1189
1190 count = (field > 0)? field : INT_MAX;
1191
1192 while (count-- > 0)
1193   {
1194   size_t len;
1195
1196   /* Previous field was the last one in the string. For a positive field
1197   number, this means there are not enough fields. For a negative field number,
1198   check that there are enough, and scan back to find the one that is wanted. */
1199
1200   if (sep == 0)
1201     {
1202     if (field > 0 || (-field) > (INT_MAX - count - 1)) return NULL;
1203     if ((-field) == (INT_MAX - count - 1)) return s;
1204     while (field++ < 0)
1205       {
1206       ss--;
1207       while (ss[-1] != 0) ss--;
1208       }
1209     fieldtext = ss;
1210     break;
1211     }
1212
1213   /* Previous field was not last in the string; save its start and put a
1214   zero at its end. */
1215
1216   fieldtext = ss;
1217   len = Ustrcspn(ss, separators);
1218   sep = ss[len];
1219   ss[len] = 0;
1220   ss += len + 1;
1221   }
1222
1223 return fieldtext;
1224 }
1225
1226
1227 static uschar *
1228 expand_getlistele(int field, const uschar * list)
1229 {
1230 const uschar * tlist= list;
1231 int sep= 0;
1232 uschar dummy;
1233
1234 if(field<0)
1235   {
1236   for(field++; string_nextinlist(&tlist, &sep, &dummy, 1); ) field++;
1237   sep= 0;
1238   }
1239 if(field==0) return NULL;
1240 while(--field>0 && (string_nextinlist(&list, &sep, &dummy, 1))) ;
1241 return string_nextinlist(&list, &sep, NULL, 0);
1242 }
1243
1244
1245 /* Certificate fields, by name.  Worry about by-OID later */
1246 /* Names are chosen to not have common prefixes */
1247
1248 #ifdef SUPPORT_TLS
1249 typedef struct
1250 {
1251 uschar * name;
1252 int      namelen;
1253 uschar * (*getfn)(void * cert, uschar * mod);
1254 } certfield;
1255 static certfield certfields[] =
1256 {                       /* linear search; no special order */
1257   { US"version",         7,  &tls_cert_version },
1258   { US"serial_number",   13, &tls_cert_serial_number },
1259   { US"subject",         7,  &tls_cert_subject },
1260   { US"notbefore",       9,  &tls_cert_not_before },
1261   { US"notafter",        8,  &tls_cert_not_after },
1262   { US"issuer",          6,  &tls_cert_issuer },
1263   { US"signature",       9,  &tls_cert_signature },
1264   { US"sig_algorithm",   13, &tls_cert_signature_algorithm },
1265   { US"subj_altname",    12, &tls_cert_subject_altname },
1266   { US"ocsp_uri",        8,  &tls_cert_ocsp_uri },
1267   { US"crl_uri",         7,  &tls_cert_crl_uri },
1268 };
1269
1270 static uschar *
1271 expand_getcertele(uschar * field, uschar * certvar)
1272 {
1273 var_entry * vp;
1274 certfield * cp;
1275
1276 if (!(vp = find_var_ent(certvar)))
1277   {
1278   expand_string_message =
1279     string_sprintf("no variable named \"%s\"", certvar);
1280   return NULL;          /* Unknown variable name */
1281   }
1282 /* NB this stops us passing certs around in variable.  Might
1283 want to do that in future */
1284 if (vp->type != vtype_cert)
1285   {
1286   expand_string_message =
1287     string_sprintf("\"%s\" is not a certificate", certvar);
1288   return NULL;          /* Unknown variable name */
1289   }
1290 if (!*(void **)vp->value)
1291   return NULL;
1292
1293 if (*field >= '0' && *field <= '9')
1294   return tls_cert_ext_by_oid(*(void **)vp->value, field, 0);
1295
1296 for(cp = certfields;
1297     cp < certfields + nelem(certfields);
1298     cp++)
1299   if (Ustrncmp(cp->name, field, cp->namelen) == 0)
1300     {
1301     uschar * modifier = *(field += cp->namelen) == ','
1302       ? ++field : NULL;
1303     return (*cp->getfn)( *(void **)vp->value, modifier );
1304     }
1305
1306 expand_string_message =
1307   string_sprintf("bad field selector \"%s\" for certextract", field);
1308 return NULL;
1309 }
1310 #endif  /*SUPPORT_TLS*/
1311
1312 /*************************************************
1313 *        Extract a substring from a string       *
1314 *************************************************/
1315
1316 /* Perform the ${substr or ${length expansion operations.
1317
1318 Arguments:
1319   subject     the input string
1320   value1      the offset from the start of the input string to the start of
1321                 the output string; if negative, count from the right.
1322   value2      the length of the output string, or negative (-1) for unset
1323                 if value1 is positive, unset means "all after"
1324                 if value1 is negative, unset means "all before"
1325   len         set to the length of the returned string
1326
1327 Returns:      pointer to the output string, or NULL if there is an error
1328 */
1329
1330 static uschar *
1331 extract_substr(uschar *subject, int value1, int value2, int *len)
1332 {
1333 int sublen = Ustrlen(subject);
1334
1335 if (value1 < 0)    /* count from right */
1336   {
1337   value1 += sublen;
1338
1339   /* If the position is before the start, skip to the start, and adjust the
1340   length. If the length ends up negative, the substring is null because nothing
1341   can precede. This falls out naturally when the length is unset, meaning "all
1342   to the left". */
1343
1344   if (value1 < 0)
1345     {
1346     value2 += value1;
1347     if (value2 < 0) value2 = 0;
1348     value1 = 0;
1349     }
1350
1351   /* Otherwise an unset length => characters before value1 */
1352
1353   else if (value2 < 0)
1354     {
1355     value2 = value1;
1356     value1 = 0;
1357     }
1358   }
1359
1360 /* For a non-negative offset, if the starting position is past the end of the
1361 string, the result will be the null string. Otherwise, an unset length means
1362 "rest"; just set it to the maximum - it will be cut down below if necessary. */
1363
1364 else
1365   {
1366   if (value1 > sublen)
1367     {
1368     value1 = sublen;
1369     value2 = 0;
1370     }
1371   else if (value2 < 0) value2 = sublen;
1372   }
1373
1374 /* Cut the length down to the maximum possible for the offset value, and get
1375 the required characters. */
1376
1377 if (value1 + value2 > sublen) value2 = sublen - value1;
1378 *len = value2;
1379 return subject + value1;
1380 }
1381
1382
1383
1384
1385 /*************************************************
1386 *            Old-style hash of a string          *
1387 *************************************************/
1388
1389 /* Perform the ${hash expansion operation.
1390
1391 Arguments:
1392   subject     the input string (an expanded substring)
1393   value1      the length of the output string; if greater or equal to the
1394                 length of the input string, the input string is returned
1395   value2      the number of hash characters to use, or 26 if negative
1396   len         set to the length of the returned string
1397
1398 Returns:      pointer to the output string, or NULL if there is an error
1399 */
1400
1401 static uschar *
1402 compute_hash(uschar *subject, int value1, int value2, int *len)
1403 {
1404 int sublen = Ustrlen(subject);
1405
1406 if (value2 < 0) value2 = 26;
1407 else if (value2 > Ustrlen(hashcodes))
1408   {
1409   expand_string_message =
1410     string_sprintf("hash count \"%d\" too big", value2);
1411   return NULL;
1412   }
1413
1414 /* Calculate the hash text. We know it is shorter than the original string, so
1415 can safely place it in subject[] (we know that subject is always itself an
1416 expanded substring). */
1417
1418 if (value1 < sublen)
1419   {
1420   int c;
1421   int i = 0;
1422   int j = value1;
1423   while ((c = (subject[j])) != 0)
1424     {
1425     int shift = (c + j++) & 7;
1426     subject[i] ^= (c << shift) | (c >> (8-shift));
1427     if (++i >= value1) i = 0;
1428     }
1429   for (i = 0; i < value1; i++)
1430     subject[i] = hashcodes[(subject[i]) % value2];
1431   }
1432 else value1 = sublen;
1433
1434 *len = value1;
1435 return subject;
1436 }
1437
1438
1439
1440
1441 /*************************************************
1442 *             Numeric hash of a string           *
1443 *************************************************/
1444
1445 /* Perform the ${nhash expansion operation. The first characters of the
1446 string are treated as most important, and get the highest prime numbers.
1447
1448 Arguments:
1449   subject     the input string
1450   value1      the maximum value of the first part of the result
1451   value2      the maximum value of the second part of the result,
1452                 or negative to produce only a one-part result
1453   len         set to the length of the returned string
1454
1455 Returns:  pointer to the output string, or NULL if there is an error.
1456 */
1457
1458 static uschar *
1459 compute_nhash (uschar *subject, int value1, int value2, int *len)
1460 {
1461 uschar *s = subject;
1462 int i = 0;
1463 unsigned long int total = 0; /* no overflow */
1464
1465 while (*s != 0)
1466   {
1467   if (i == 0) i = nelem(prime) - 1;
1468   total += prime[i--] * (unsigned int)(*s++);
1469   }
1470
1471 /* If value2 is unset, just compute one number */
1472
1473 if (value2 < 0)
1474   {
1475   s = string_sprintf("%d", total % value1);
1476   }
1477
1478 /* Otherwise do a div/mod hash */
1479
1480 else
1481   {
1482   total = total % (value1 * value2);
1483   s = string_sprintf("%d/%d", total/value2, total % value2);
1484   }
1485
1486 *len = Ustrlen(s);
1487 return s;
1488 }
1489
1490
1491
1492
1493
1494 /*************************************************
1495 *     Find the value of a header or headers      *
1496 *************************************************/
1497
1498 /* Multiple instances of the same header get concatenated, and this function
1499 can also return a concatenation of all the header lines. When concatenating
1500 specific headers that contain lists of addresses, a comma is inserted between
1501 them. Otherwise we use a straight concatenation. Because some messages can have
1502 pathologically large number of lines, there is a limit on the length that is
1503 returned. Also, to avoid massive store use which would result from using
1504 string_cat() as it copies and extends strings, we do a preliminary pass to find
1505 out exactly how much store will be needed. On "normal" messages this will be
1506 pretty trivial.
1507
1508 Arguments:
1509   name          the name of the header, without the leading $header_ or $h_,
1510                 or NULL if a concatenation of all headers is required
1511   exists_only   TRUE if called from a def: test; don't need to build a string;
1512                 just return a string that is not "" and not "0" if the header
1513                 exists
1514   newsize       return the size of memory block that was obtained; may be NULL
1515                 if exists_only is TRUE
1516   want_raw      TRUE if called for $rh_ or $rheader_ variables; no processing,
1517                 other than concatenating, will be done on the header. Also used
1518                 for $message_headers_raw.
1519   charset       name of charset to translate MIME words to; used only if
1520                 want_raw is false; if NULL, no translation is done (this is
1521                 used for $bh_ and $bheader_)
1522
1523 Returns:        NULL if the header does not exist, else a pointer to a new
1524                 store block
1525 */
1526
1527 static uschar *
1528 find_header(uschar *name, BOOL exists_only, int *newsize, BOOL want_raw,
1529   uschar *charset)
1530 {
1531 BOOL found = name == NULL;
1532 int comma = 0;
1533 int len = found? 0 : Ustrlen(name);
1534 int i;
1535 uschar *yield = NULL;
1536 uschar *ptr = NULL;
1537
1538 /* Loop for two passes - saves code repetition */
1539
1540 for (i = 0; i < 2; i++)
1541   {
1542   int size = 0;
1543   header_line *h;
1544
1545   for (h = header_list; size < header_insert_maxlen && h != NULL; h = h->next)
1546     {
1547     if (h->type != htype_old && h->text != NULL)  /* NULL => Received: placeholder */
1548       {
1549       if (name == NULL || (len <= h->slen && strncmpic(name, h->text, len) == 0))
1550         {
1551         int ilen;
1552         uschar *t;
1553
1554         if (exists_only) return US"1";      /* don't need actual string */
1555         found = TRUE;
1556         t = h->text + len;                  /* text to insert */
1557         if (!want_raw)                      /* unless wanted raw, */
1558           while (isspace(*t)) t++;          /* remove leading white space */
1559         ilen = h->slen - (t - h->text);     /* length to insert */
1560
1561         /* Unless wanted raw, remove trailing whitespace, including the
1562         newline. */
1563
1564         if (!want_raw)
1565           while (ilen > 0 && isspace(t[ilen-1])) ilen--;
1566
1567         /* Set comma = 1 if handling a single header and it's one of those
1568         that contains an address list, except when asked for raw headers. Only
1569         need to do this once. */
1570
1571         if (!want_raw && name != NULL && comma == 0 &&
1572             Ustrchr("BCFRST", h->type) != NULL)
1573           comma = 1;
1574
1575         /* First pass - compute total store needed; second pass - compute
1576         total store used, including this header. */
1577
1578         size += ilen + comma + 1;  /* +1 for the newline */
1579
1580         /* Second pass - concatentate the data, up to a maximum. Note that
1581         the loop stops when size hits the limit. */
1582
1583         if (i != 0)
1584           {
1585           if (size > header_insert_maxlen)
1586             {
1587             ilen -= size - header_insert_maxlen - 1;
1588             comma = 0;
1589             }
1590           Ustrncpy(ptr, t, ilen);
1591           ptr += ilen;
1592
1593           /* For a non-raw header, put in the comma if needed, then add
1594           back the newline we removed above, provided there was some text in
1595           the header. */
1596
1597           if (!want_raw && ilen > 0)
1598             {
1599             if (comma != 0) *ptr++ = ',';
1600             *ptr++ = '\n';
1601             }
1602           }
1603         }
1604       }
1605     }
1606
1607   /* At end of first pass, return NULL if no header found. Then truncate size
1608   if necessary, and get the buffer to hold the data, returning the buffer size.
1609   */
1610
1611   if (i == 0)
1612     {
1613     if (!found) return NULL;
1614     if (size > header_insert_maxlen) size = header_insert_maxlen;
1615     *newsize = size + 1;
1616     ptr = yield = store_get(*newsize);
1617     }
1618   }
1619
1620 /* That's all we do for raw header expansion. */
1621
1622 if (want_raw)
1623   {
1624   *ptr = 0;
1625   }
1626
1627 /* Otherwise, remove a final newline and a redundant added comma. Then we do
1628 RFC 2047 decoding, translating the charset if requested. The rfc2047_decode2()
1629 function can return an error with decoded data if the charset translation
1630 fails. If decoding fails, it returns NULL. */
1631
1632 else
1633   {
1634   uschar *decoded, *error;
1635   if (ptr > yield && ptr[-1] == '\n') ptr--;
1636   if (ptr > yield && comma != 0 && ptr[-1] == ',') ptr--;
1637   *ptr = 0;
1638   decoded = rfc2047_decode2(yield, check_rfc2047_length, charset, '?', NULL,
1639     newsize, &error);
1640   if (error != NULL)
1641     {
1642     DEBUG(D_any) debug_printf("*** error in RFC 2047 decoding: %s\n"
1643       "    input was: %s\n", error, yield);
1644     }
1645   if (decoded != NULL) yield = decoded;
1646   }
1647
1648 return yield;
1649 }
1650
1651
1652
1653
1654 /*************************************************
1655 *               Return list of recipients        *
1656 *************************************************/
1657 /* A recipients list is available only during system message filtering,
1658 during ACL processing after DATA, and while expanding pipe commands
1659 generated from a system filter, but not elsewhere. */
1660
1661 static uschar *
1662 fn_recipients(void)
1663 {
1664 if (!enable_dollar_recipients) return NULL; else
1665   {
1666   int size = 128;
1667   int ptr = 0;
1668   int i;
1669   uschar * s = store_get(size);
1670   for (i = 0; i < recipients_count; i++)
1671     {
1672     if (i != 0) s = string_catn(s, &size, &ptr, US", ", 2);
1673     s = string_cat(s, &size, &ptr, recipients_list[i].address);
1674     }
1675   s[ptr] = 0;     /* string_cat() leaves room */
1676   return s;
1677   }
1678 }
1679
1680
1681 /*************************************************
1682 *               Find value of a variable         *
1683 *************************************************/
1684
1685 /* The table of variables is kept in alphabetic order, so we can search it
1686 using a binary chop. The "choplen" variable is nothing to do with the binary
1687 chop.
1688
1689 Arguments:
1690   name          the name of the variable being sought
1691   exists_only   TRUE if this is a def: test; passed on to find_header()
1692   skipping      TRUE => skip any processing evaluation; this is not the same as
1693                   exists_only because def: may test for values that are first
1694                   evaluated here
1695   newsize       pointer to an int which is initially zero; if the answer is in
1696                 a new memory buffer, *newsize is set to its size
1697
1698 Returns:        NULL if the variable does not exist, or
1699                 a pointer to the variable's contents, or
1700                 something non-NULL if exists_only is TRUE
1701 */
1702
1703 static uschar *
1704 find_variable(uschar *name, BOOL exists_only, BOOL skipping, int *newsize)
1705 {
1706 var_entry * vp;
1707 uschar *s, *domain;
1708 uschar **ss;
1709 void * val;
1710
1711 /* Handle ACL variables, whose names are of the form acl_cxxx or acl_mxxx.
1712 Originally, xxx had to be a number in the range 0-9 (later 0-19), but from
1713 release 4.64 onwards arbitrary names are permitted, as long as the first 5
1714 characters are acl_c or acl_m and the sixth is either a digit or an underscore
1715 (this gave backwards compatibility at the changeover). There may be built-in
1716 variables whose names start acl_ but they should never start in this way. This
1717 slightly messy specification is a consequence of the history, needless to say.
1718
1719 If an ACL variable does not exist, treat it as empty, unless strict_acl_vars is
1720 set, in which case give an error. */
1721
1722 if ((Ustrncmp(name, "acl_c", 5) == 0 || Ustrncmp(name, "acl_m", 5) == 0) &&
1723      !isalpha(name[5]))
1724   {
1725   tree_node *node =
1726     tree_search((name[4] == 'c')? acl_var_c : acl_var_m, name + 4);
1727   return node ? node->data.ptr : strict_acl_vars ? NULL : US"";
1728   }
1729
1730 /* Handle $auth<n> variables. */
1731
1732 if (Ustrncmp(name, "auth", 4) == 0)
1733   {
1734   uschar *endptr;
1735   int n = Ustrtoul(name + 4, &endptr, 10);
1736   if (*endptr == 0 && n != 0 && n <= AUTH_VARS)
1737     return !auth_vars[n-1] ? US"" : auth_vars[n-1];
1738   }
1739 else if (Ustrncmp(name, "regex", 5) == 0)
1740   {
1741   uschar *endptr;
1742   int n = Ustrtoul(name + 5, &endptr, 10);
1743   if (*endptr == 0 && n != 0 && n <= REGEX_VARS)
1744     return !regex_vars[n-1] ? US"" : regex_vars[n-1];
1745   }
1746
1747 /* For all other variables, search the table */
1748
1749 if (!(vp = find_var_ent(name)))
1750   return NULL;          /* Unknown variable name */
1751
1752 /* Found an existing variable. If in skipping state, the value isn't needed,
1753 and we want to avoid processing (such as looking up the host name). */
1754
1755 if (skipping)
1756   return US"";
1757
1758 val = vp->value;
1759 switch (vp->type)
1760   {
1761   case vtype_filter_int:
1762     if (!filter_running) return NULL;
1763     /* Fall through */
1764     /* VVVVVVVVVVVV */
1765   case vtype_int:
1766     sprintf(CS var_buffer, "%d", *(int *)(val)); /* Integer */
1767     return var_buffer;
1768
1769   case vtype_ino:
1770     sprintf(CS var_buffer, "%ld", (long int)(*(ino_t *)(val))); /* Inode */
1771     return var_buffer;
1772
1773   case vtype_gid:
1774     sprintf(CS var_buffer, "%ld", (long int)(*(gid_t *)(val))); /* gid */
1775     return var_buffer;
1776
1777   case vtype_uid:
1778     sprintf(CS var_buffer, "%ld", (long int)(*(uid_t *)(val))); /* uid */
1779     return var_buffer;
1780
1781   case vtype_bool:
1782     sprintf(CS var_buffer, "%s", *(BOOL *)(val) ? "yes" : "no"); /* bool */
1783     return var_buffer;
1784
1785   case vtype_stringptr:                      /* Pointer to string */
1786     return (s = *((uschar **)(val))) ? s : US"";
1787
1788   case vtype_pid:
1789     sprintf(CS var_buffer, "%d", (int)getpid()); /* pid */
1790     return var_buffer;
1791
1792   case vtype_load_avg:
1793     sprintf(CS var_buffer, "%d", OS_GETLOADAVG()); /* load_average */
1794     return var_buffer;
1795
1796   case vtype_host_lookup:                    /* Lookup if not done so */
1797     if (sender_host_name == NULL && sender_host_address != NULL &&
1798         !host_lookup_failed && host_name_lookup() == OK)
1799       host_build_sender_fullhost();
1800     return (sender_host_name == NULL)? US"" : sender_host_name;
1801
1802   case vtype_localpart:                      /* Get local part from address */
1803     s = *((uschar **)(val));
1804     if (s == NULL) return US"";
1805     domain = Ustrrchr(s, '@');
1806     if (domain == NULL) return s;
1807     if (domain - s > sizeof(var_buffer) - 1)
1808       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "local part longer than " SIZE_T_FMT
1809           " in string expansion", sizeof(var_buffer));
1810     Ustrncpy(var_buffer, s, domain - s);
1811     var_buffer[domain - s] = 0;
1812     return var_buffer;
1813
1814   case vtype_domain:                         /* Get domain from address */
1815     s = *((uschar **)(val));
1816     if (s == NULL) return US"";
1817     domain = Ustrrchr(s, '@');
1818     return (domain == NULL)? US"" : domain + 1;
1819
1820   case vtype_msgheaders:
1821     return find_header(NULL, exists_only, newsize, FALSE, NULL);
1822
1823   case vtype_msgheaders_raw:
1824     return find_header(NULL, exists_only, newsize, TRUE, NULL);
1825
1826   case vtype_msgbody:                        /* Pointer to msgbody string */
1827   case vtype_msgbody_end:                    /* Ditto, the end of the msg */
1828     ss = (uschar **)(val);
1829     if (*ss == NULL && deliver_datafile >= 0)  /* Read body when needed */
1830       {
1831       uschar *body;
1832       off_t start_offset = SPOOL_DATA_START_OFFSET;
1833       int len = message_body_visible;
1834       if (len > message_size) len = message_size;
1835       *ss = body = store_malloc(len+1);
1836       body[0] = 0;
1837       if (vp->type == vtype_msgbody_end)
1838         {
1839         struct stat statbuf;
1840         if (fstat(deliver_datafile, &statbuf) == 0)
1841           {
1842           start_offset = statbuf.st_size - len;
1843           if (start_offset < SPOOL_DATA_START_OFFSET)
1844             start_offset = SPOOL_DATA_START_OFFSET;
1845           }
1846         }
1847       if (lseek(deliver_datafile, start_offset, SEEK_SET) < 0)
1848         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "deliver_datafile lseek: %s",
1849           strerror(errno));
1850       len = read(deliver_datafile, body, len);
1851       if (len > 0)
1852         {
1853         body[len] = 0;
1854         if (message_body_newlines)   /* Separate loops for efficiency */
1855           while (len > 0)
1856             { if (body[--len] == 0) body[len] = ' '; }
1857         else
1858           while (len > 0)
1859             { if (body[--len] == '\n' || body[len] == 0) body[len] = ' '; }
1860         }
1861       }
1862     return (*ss == NULL)? US"" : *ss;
1863
1864   case vtype_todbsdin:                       /* BSD inbox time of day */
1865     return tod_stamp(tod_bsdin);
1866
1867   case vtype_tode:                           /* Unix epoch time of day */
1868     return tod_stamp(tod_epoch);
1869
1870   case vtype_todel:                          /* Unix epoch/usec time of day */
1871     return tod_stamp(tod_epoch_l);
1872
1873   case vtype_todf:                           /* Full time of day */
1874     return tod_stamp(tod_full);
1875
1876   case vtype_todl:                           /* Log format time of day */
1877     return tod_stamp(tod_log_bare);            /* (without timezone) */
1878
1879   case vtype_todzone:                        /* Time zone offset only */
1880     return tod_stamp(tod_zone);
1881
1882   case vtype_todzulu:                        /* Zulu time */
1883     return tod_stamp(tod_zulu);
1884
1885   case vtype_todlf:                          /* Log file datestamp tod */
1886     return tod_stamp(tod_log_datestamp_daily);
1887
1888   case vtype_reply:                          /* Get reply address */
1889     s = find_header(US"reply-to:", exists_only, newsize, TRUE,
1890       headers_charset);
1891     if (s != NULL) while (isspace(*s)) s++;
1892     if (s == NULL || *s == 0)
1893       {
1894       *newsize = 0;                            /* For the *s==0 case */
1895       s = find_header(US"from:", exists_only, newsize, TRUE, headers_charset);
1896       }
1897     if (s != NULL)
1898       {
1899       uschar *t;
1900       while (isspace(*s)) s++;
1901       for (t = s; *t != 0; t++) if (*t == '\n') *t = ' ';
1902       while (t > s && isspace(t[-1])) t--;
1903       *t = 0;
1904       }
1905     return (s == NULL)? US"" : s;
1906
1907   case vtype_string_func:
1908     {
1909     uschar * (*fn)() = val;
1910     return fn();
1911     }
1912
1913   case vtype_pspace:
1914     {
1915     int inodes;
1916     sprintf(CS var_buffer, "%d",
1917       receive_statvfs(val == (void *)TRUE, &inodes));
1918     }
1919   return var_buffer;
1920
1921   case vtype_pinodes:
1922     {
1923     int inodes;
1924     (void) receive_statvfs(val == (void *)TRUE, &inodes);
1925     sprintf(CS var_buffer, "%d", inodes);
1926     }
1927   return var_buffer;
1928
1929   case vtype_cert:
1930     return *(void **)val ? US"<cert>" : US"";
1931
1932 #ifndef DISABLE_DKIM
1933   case vtype_dkim:
1934     return dkim_exim_expand_query((int)(long)val);
1935 #endif
1936
1937   }
1938
1939 return NULL;  /* Unknown variable. Silences static checkers. */
1940 }
1941
1942
1943
1944
1945 void
1946 modify_variable(uschar *name, void * value)
1947 {
1948 var_entry * vp;
1949 if ((vp = find_var_ent(name))) vp->value = value;
1950 return;          /* Unknown variable name, fail silently */
1951 }
1952
1953
1954
1955
1956
1957 /*************************************************
1958 *           Read and expand substrings           *
1959 *************************************************/
1960
1961 /* This function is called to read and expand argument substrings for various
1962 expansion items. Some have a minimum requirement that is less than the maximum;
1963 in these cases, the first non-present one is set to NULL.
1964
1965 Arguments:
1966   sub        points to vector of pointers to set
1967   n          maximum number of substrings
1968   m          minimum required
1969   sptr       points to current string pointer
1970   skipping   the skipping flag
1971   check_end  if TRUE, check for final '}'
1972   name       name of item, for error message
1973   resetok    if not NULL, pointer to flag - write FALSE if unsafe to reset
1974              the store.
1975
1976 Returns:     0 OK; string pointer updated
1977              1 curly bracketing error (too few arguments)
1978              2 too many arguments (only if check_end is set); message set
1979              3 other error (expansion failure)
1980 */
1981
1982 static int
1983 read_subs(uschar **sub, int n, int m, const uschar **sptr, BOOL skipping,
1984   BOOL check_end, uschar *name, BOOL *resetok)
1985 {
1986 int i;
1987 const uschar *s = *sptr;
1988
1989 while (isspace(*s)) s++;
1990 for (i = 0; i < n; i++)
1991   {
1992   if (*s != '{')
1993     {
1994     if (i < m)
1995       {
1996       expand_string_message = string_sprintf("Not enough arguments for '%s' "
1997         "(min is %d)", name, m);
1998       return 1;
1999       }
2000     sub[i] = NULL;
2001     break;
2002     }
2003   if (!(sub[i] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, resetok)))
2004     return 3;
2005   if (*s++ != '}') return 1;
2006   while (isspace(*s)) s++;
2007   }
2008 if (check_end && *s++ != '}')
2009   {
2010   if (s[-1] == '{')
2011     {
2012     expand_string_message = string_sprintf("Too many arguments for '%s' "
2013       "(max is %d)", name, n);
2014     return 2;
2015     }
2016   expand_string_message = string_sprintf("missing '}' after '%s'", name);
2017   return 1;
2018   }
2019
2020 *sptr = s;
2021 return 0;
2022 }
2023
2024
2025
2026
2027 /*************************************************
2028 *     Elaborate message for bad variable         *
2029 *************************************************/
2030
2031 /* For the "unknown variable" message, take a look at the variable's name, and
2032 give additional information about possible ACL variables. The extra information
2033 is added on to expand_string_message.
2034
2035 Argument:   the name of the variable
2036 Returns:    nothing
2037 */
2038
2039 static void
2040 check_variable_error_message(uschar *name)
2041 {
2042 if (Ustrncmp(name, "acl_", 4) == 0)
2043   expand_string_message = string_sprintf("%s (%s)", expand_string_message,
2044     (name[4] == 'c' || name[4] == 'm')?
2045       (isalpha(name[5])?
2046         US"6th character of a user-defined ACL variable must be a digit or underscore" :
2047         US"strict_acl_vars is set"    /* Syntax is OK, it has to be this */
2048       ) :
2049       US"user-defined ACL variables must start acl_c or acl_m");
2050 }
2051
2052
2053
2054 /*
2055 Load args from sub array to globals, and call acl_check().
2056 Sub array will be corrupted on return.
2057
2058 Returns:       OK         access is granted by an ACCEPT verb
2059                DISCARD    access is (apparently) granted by a DISCARD verb
2060                FAIL       access is denied
2061                FAIL_DROP  access is denied; drop the connection
2062                DEFER      can't tell at the moment
2063                ERROR      disaster
2064 */
2065 static int
2066 eval_acl(uschar ** sub, int nsub, uschar ** user_msgp)
2067 {
2068 int i;
2069 int sav_narg = acl_narg;
2070 int ret;
2071 uschar * dummy_logmsg;
2072 extern int acl_where;
2073
2074 if(--nsub > nelem(acl_arg)) nsub = nelem(acl_arg);
2075 for (i = 0; i < nsub && sub[i+1]; i++)
2076   {
2077   uschar * tmp = acl_arg[i];
2078   acl_arg[i] = sub[i+1];        /* place callers args in the globals */
2079   sub[i+1] = tmp;               /* stash the old args using our caller's storage */
2080   }
2081 acl_narg = i;
2082 while (i < nsub)
2083   {
2084   sub[i+1] = acl_arg[i];
2085   acl_arg[i++] = NULL;
2086   }
2087
2088 DEBUG(D_expand)
2089   debug_printf("expanding: acl: %s  arg: %s%s\n",
2090     sub[0],
2091     acl_narg>0 ? acl_arg[0] : US"<none>",
2092     acl_narg>1 ? " +more"   : "");
2093
2094 ret = acl_eval(acl_where, sub[0], user_msgp, &dummy_logmsg);
2095
2096 for (i = 0; i < nsub; i++)
2097   acl_arg[i] = sub[i+1];        /* restore old args */
2098 acl_narg = sav_narg;
2099
2100 return ret;
2101 }
2102
2103
2104
2105
2106 /*************************************************
2107 *        Read and evaluate a condition           *
2108 *************************************************/
2109
2110 /*
2111 Arguments:
2112   s        points to the start of the condition text
2113   resetok  points to a BOOL which is written false if it is unsafe to
2114            free memory. Certain condition types (acl) may have side-effect
2115            allocation which must be preserved.
2116   yield    points to a BOOL to hold the result of the condition test;
2117            if NULL, we are just reading through a condition that is
2118            part of an "or" combination to check syntax, or in a state
2119            where the answer isn't required
2120
2121 Returns:   a pointer to the first character after the condition, or
2122            NULL after an error
2123 */
2124
2125 static const uschar *
2126 eval_condition(const uschar *s, BOOL *resetok, BOOL *yield)
2127 {
2128 BOOL testfor = TRUE;
2129 BOOL tempcond, combined_cond;
2130 BOOL *subcondptr;
2131 BOOL sub2_honour_dollar = TRUE;
2132 int i, rc, cond_type, roffset;
2133 int_eximarith_t num[2];
2134 struct stat statbuf;
2135 uschar name[256];
2136 const uschar *sub[10];
2137
2138 const pcre *re;
2139 const uschar *rerror;
2140
2141 for (;;)
2142   {
2143   while (isspace(*s)) s++;
2144   if (*s == '!') { testfor = !testfor; s++; } else break;
2145   }
2146
2147 /* Numeric comparisons are symbolic */
2148
2149 if (*s == '=' || *s == '>' || *s == '<')
2150   {
2151   int p = 0;
2152   name[p++] = *s++;
2153   if (*s == '=')
2154     {
2155     name[p++] = '=';
2156     s++;
2157     }
2158   name[p] = 0;
2159   }
2160
2161 /* All other conditions are named */
2162
2163 else s = read_name(name, 256, s, US"_");
2164
2165 /* If we haven't read a name, it means some non-alpha character is first. */
2166
2167 if (name[0] == 0)
2168   {
2169   expand_string_message = string_sprintf("condition name expected, "
2170     "but found \"%.16s\"", s);
2171   return NULL;
2172   }
2173
2174 /* Find which condition we are dealing with, and switch on it */
2175
2176 cond_type = chop_match(name, cond_table, nelem(cond_table));
2177 switch(cond_type)
2178   {
2179   /* def: tests for a non-empty variable, or for the existence of a header. If
2180   yield == NULL we are in a skipping state, and don't care about the answer. */
2181
2182   case ECOND_DEF:
2183   if (*s != ':')
2184     {
2185     expand_string_message = US"\":\" expected after \"def\"";
2186     return NULL;
2187     }
2188
2189   s = read_name(name, 256, s+1, US"_");
2190
2191   /* Test for a header's existence. If the name contains a closing brace
2192   character, this may be a user error where the terminating colon has been
2193   omitted. Set a flag to adjust a subsequent error message in this case. */
2194
2195   if (Ustrncmp(name, "h_", 2) == 0 ||
2196       Ustrncmp(name, "rh_", 3) == 0 ||
2197       Ustrncmp(name, "bh_", 3) == 0 ||
2198       Ustrncmp(name, "header_", 7) == 0 ||
2199       Ustrncmp(name, "rheader_", 8) == 0 ||
2200       Ustrncmp(name, "bheader_", 8) == 0)
2201     {
2202     s = read_header_name(name, 256, s);
2203     /* {-for-text-editors */
2204     if (Ustrchr(name, '}') != NULL) malformed_header = TRUE;
2205     if (yield != NULL) *yield =
2206       (find_header(name, TRUE, NULL, FALSE, NULL) != NULL) == testfor;
2207     }
2208
2209   /* Test for a variable's having a non-empty value. A non-existent variable
2210   causes an expansion failure. */
2211
2212   else
2213     {
2214     uschar *value = find_variable(name, TRUE, yield == NULL, NULL);
2215     if (value == NULL)
2216       {
2217       expand_string_message = (name[0] == 0)?
2218         string_sprintf("variable name omitted after \"def:\"") :
2219         string_sprintf("unknown variable \"%s\" after \"def:\"", name);
2220       check_variable_error_message(name);
2221       return NULL;
2222       }
2223     if (yield != NULL) *yield = (value[0] != 0) == testfor;
2224     }
2225
2226   return s;
2227
2228
2229   /* first_delivery tests for first delivery attempt */
2230
2231   case ECOND_FIRST_DELIVERY:
2232   if (yield != NULL) *yield = deliver_firsttime == testfor;
2233   return s;
2234
2235
2236   /* queue_running tests for any process started by a queue runner */
2237
2238   case ECOND_QUEUE_RUNNING:
2239   if (yield != NULL) *yield = (queue_run_pid != (pid_t)0) == testfor;
2240   return s;
2241
2242
2243   /* exists:  tests for file existence
2244        isip:  tests for any IP address
2245       isip4:  tests for an IPv4 address
2246       isip6:  tests for an IPv6 address
2247         pam:  does PAM authentication
2248      radius:  does RADIUS authentication
2249    ldapauth:  does LDAP authentication
2250     pwcheck:  does Cyrus SASL pwcheck authentication
2251   */
2252
2253   case ECOND_EXISTS:
2254   case ECOND_ISIP:
2255   case ECOND_ISIP4:
2256   case ECOND_ISIP6:
2257   case ECOND_PAM:
2258   case ECOND_RADIUS:
2259   case ECOND_LDAPAUTH:
2260   case ECOND_PWCHECK:
2261
2262   while (isspace(*s)) s++;
2263   if (*s != '{') goto COND_FAILED_CURLY_START;          /* }-for-text-editors */
2264
2265   sub[0] = expand_string_internal(s+1, TRUE, &s, yield == NULL, TRUE, resetok);
2266   if (sub[0] == NULL) return NULL;
2267   /* {-for-text-editors */
2268   if (*s++ != '}') goto COND_FAILED_CURLY_END;
2269
2270   if (yield == NULL) return s;   /* No need to run the test if skipping */
2271
2272   switch(cond_type)
2273     {
2274     case ECOND_EXISTS:
2275     if ((expand_forbid & RDO_EXISTS) != 0)
2276       {
2277       expand_string_message = US"File existence tests are not permitted";
2278       return NULL;
2279       }
2280     *yield = (Ustat(sub[0], &statbuf) == 0) == testfor;
2281     break;
2282
2283     case ECOND_ISIP:
2284     case ECOND_ISIP4:
2285     case ECOND_ISIP6:
2286     rc = string_is_ip_address(sub[0], NULL);
2287     *yield = ((cond_type == ECOND_ISIP)? (rc != 0) :
2288              (cond_type == ECOND_ISIP4)? (rc == 4) : (rc == 6)) == testfor;
2289     break;
2290
2291     /* Various authentication tests - all optionally compiled */
2292
2293     case ECOND_PAM:
2294     #ifdef SUPPORT_PAM
2295     rc = auth_call_pam(sub[0], &expand_string_message);
2296     goto END_AUTH;
2297     #else
2298     goto COND_FAILED_NOT_COMPILED;
2299     #endif  /* SUPPORT_PAM */
2300
2301     case ECOND_RADIUS:
2302     #ifdef RADIUS_CONFIG_FILE
2303     rc = auth_call_radius(sub[0], &expand_string_message);
2304     goto END_AUTH;
2305     #else
2306     goto COND_FAILED_NOT_COMPILED;
2307     #endif  /* RADIUS_CONFIG_FILE */
2308
2309     case ECOND_LDAPAUTH:
2310     #ifdef LOOKUP_LDAP
2311       {
2312       /* Just to keep the interface the same */
2313       BOOL do_cache;
2314       int old_pool = store_pool;
2315       store_pool = POOL_SEARCH;
2316       rc = eldapauth_find((void *)(-1), NULL, sub[0], Ustrlen(sub[0]), NULL,
2317         &expand_string_message, &do_cache);
2318       store_pool = old_pool;
2319       }
2320     goto END_AUTH;
2321     #else
2322     goto COND_FAILED_NOT_COMPILED;
2323     #endif  /* LOOKUP_LDAP */
2324
2325     case ECOND_PWCHECK:
2326     #ifdef CYRUS_PWCHECK_SOCKET
2327     rc = auth_call_pwcheck(sub[0], &expand_string_message);
2328     goto END_AUTH;
2329     #else
2330     goto COND_FAILED_NOT_COMPILED;
2331     #endif  /* CYRUS_PWCHECK_SOCKET */
2332
2333     #if defined(SUPPORT_PAM) || defined(RADIUS_CONFIG_FILE) || \
2334         defined(LOOKUP_LDAP) || defined(CYRUS_PWCHECK_SOCKET)
2335     END_AUTH:
2336     if (rc == ERROR || rc == DEFER) return NULL;
2337     *yield = (rc == OK) == testfor;
2338     #endif
2339     }
2340   return s;
2341
2342
2343   /* call ACL (in a conditional context).  Accept true, deny false.
2344   Defer is a forced-fail.  Anything set by message= goes to $value.
2345   Up to ten parameters are used; we use the braces round the name+args
2346   like the saslauthd condition does, to permit a variable number of args.
2347   See also the expansion-item version EITEM_ACL and the traditional
2348   acl modifier ACLC_ACL.
2349   Since the ACL may allocate new global variables, tell our caller to not
2350   reclaim memory.
2351   */
2352
2353   case ECOND_ACL:
2354     /* ${if acl {{name}{arg1}{arg2}...}  {yes}{no}} */
2355     {
2356     uschar *sub[10];
2357     uschar *user_msg;
2358     BOOL cond = FALSE;
2359     int size = 0;
2360     int ptr = 0;
2361
2362     while (isspace(*s)) s++;
2363     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /*}*/
2364
2365     switch(read_subs(sub, nelem(sub), 1,
2366       &s, yield == NULL, TRUE, US"acl", resetok))
2367       {
2368       case 1: expand_string_message = US"too few arguments or bracketing "
2369         "error for acl";
2370       case 2:
2371       case 3: return NULL;
2372       }
2373
2374     *resetok = FALSE;   /* eval_acl() might allocate; do not reclaim */
2375     if (yield != NULL) switch(eval_acl(sub, nelem(sub), &user_msg))
2376         {
2377         case OK:
2378           cond = TRUE;
2379         case FAIL:
2380           lookup_value = NULL;
2381           if (user_msg)
2382             {
2383             lookup_value = string_cat(NULL, &size, &ptr, user_msg);
2384             lookup_value[ptr] = '\0';
2385             }
2386           *yield = cond == testfor;
2387           break;
2388
2389         case DEFER:
2390           expand_string_forcedfail = TRUE;
2391           /*FALLTHROUGH*/
2392         default:
2393           expand_string_message = string_sprintf("error from acl \"%s\"", sub[0]);
2394           return NULL;
2395         }
2396     return s;
2397     }
2398
2399
2400   /* saslauthd: does Cyrus saslauthd authentication. Four parameters are used:
2401
2402      ${if saslauthd {{username}{password}{service}{realm}}  {yes}{no}}
2403
2404   However, the last two are optional. That is why the whole set is enclosed
2405   in their own set of braces. */
2406
2407   case ECOND_SASLAUTHD:
2408 #ifndef CYRUS_SASLAUTHD_SOCKET
2409     goto COND_FAILED_NOT_COMPILED;
2410 #else
2411     {
2412     uschar *sub[4];
2413     while (isspace(*s)) s++;
2414     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /* }-for-text-editors */
2415     switch(read_subs(sub, nelem(sub), 2, &s, yield == NULL, TRUE, US"saslauthd",
2416                     resetok))
2417       {
2418       case 1: expand_string_message = US"too few arguments or bracketing "
2419         "error for saslauthd";
2420       case 2:
2421       case 3: return NULL;
2422       }
2423     if (sub[2] == NULL) sub[3] = NULL;  /* realm if no service */
2424     if (yield != NULL)
2425       {
2426       int rc = auth_call_saslauthd(sub[0], sub[1], sub[2], sub[3],
2427         &expand_string_message);
2428       if (rc == ERROR || rc == DEFER) return NULL;
2429       *yield = (rc == OK) == testfor;
2430       }
2431     return s;
2432     }
2433 #endif /* CYRUS_SASLAUTHD_SOCKET */
2434
2435
2436   /* symbolic operators for numeric and string comparison, and a number of
2437   other operators, all requiring two arguments.
2438
2439   crypteq:           encrypts plaintext and compares against an encrypted text,
2440                        using crypt(), crypt16(), MD5 or SHA-1
2441   inlist/inlisti:    checks if first argument is in the list of the second
2442   match:             does a regular expression match and sets up the numerical
2443                        variables if it succeeds
2444   match_address:     matches in an address list
2445   match_domain:      matches in a domain list
2446   match_ip:          matches a host list that is restricted to IP addresses
2447   match_local_part:  matches in a local part list
2448   */
2449
2450   case ECOND_MATCH_ADDRESS:
2451   case ECOND_MATCH_DOMAIN:
2452   case ECOND_MATCH_IP:
2453   case ECOND_MATCH_LOCAL_PART:
2454 #ifndef EXPAND_LISTMATCH_RHS
2455     sub2_honour_dollar = FALSE;
2456 #endif
2457     /* FALLTHROUGH */
2458
2459   case ECOND_CRYPTEQ:
2460   case ECOND_INLIST:
2461   case ECOND_INLISTI:
2462   case ECOND_MATCH:
2463
2464   case ECOND_NUM_L:     /* Numerical comparisons */
2465   case ECOND_NUM_LE:
2466   case ECOND_NUM_E:
2467   case ECOND_NUM_EE:
2468   case ECOND_NUM_G:
2469   case ECOND_NUM_GE:
2470
2471   case ECOND_STR_LT:    /* String comparisons */
2472   case ECOND_STR_LTI:
2473   case ECOND_STR_LE:
2474   case ECOND_STR_LEI:
2475   case ECOND_STR_EQ:
2476   case ECOND_STR_EQI:
2477   case ECOND_STR_GT:
2478   case ECOND_STR_GTI:
2479   case ECOND_STR_GE:
2480   case ECOND_STR_GEI:
2481
2482   for (i = 0; i < 2; i++)
2483     {
2484     /* Sometimes, we don't expand substrings; too many insecure configurations
2485     created using match_address{}{} and friends, where the second param
2486     includes information from untrustworthy sources. */
2487     BOOL honour_dollar = TRUE;
2488     if ((i > 0) && !sub2_honour_dollar)
2489       honour_dollar = FALSE;
2490
2491     while (isspace(*s)) s++;
2492     if (*s != '{')
2493       {
2494       if (i == 0) goto COND_FAILED_CURLY_START;
2495       expand_string_message = string_sprintf("missing 2nd string in {} "
2496         "after \"%s\"", name);
2497       return NULL;
2498       }
2499     sub[i] = expand_string_internal(s+1, TRUE, &s, yield == NULL,
2500         honour_dollar, resetok);
2501     if (sub[i] == NULL) return NULL;
2502     if (*s++ != '}') goto COND_FAILED_CURLY_END;
2503
2504     /* Convert to numerical if required; we know that the names of all the
2505     conditions that compare numbers do not start with a letter. This just saves
2506     checking for them individually. */
2507
2508     if (!isalpha(name[0]) && yield != NULL)
2509       {
2510       if (sub[i][0] == 0)
2511         {
2512         num[i] = 0;
2513         DEBUG(D_expand)
2514           debug_printf("empty string cast to zero for numerical comparison\n");
2515         }
2516       else
2517         {
2518         num[i] = expanded_string_integer(sub[i], FALSE);
2519         if (expand_string_message != NULL) return NULL;
2520         }
2521       }
2522     }
2523
2524   /* Result not required */
2525
2526   if (yield == NULL) return s;
2527
2528   /* Do an appropriate comparison */
2529
2530   switch(cond_type)
2531     {
2532     case ECOND_NUM_E:
2533     case ECOND_NUM_EE:
2534     tempcond = (num[0] == num[1]);
2535     break;
2536
2537     case ECOND_NUM_G:
2538     tempcond = (num[0] > num[1]);
2539     break;
2540
2541     case ECOND_NUM_GE:
2542     tempcond = (num[0] >= num[1]);
2543     break;
2544
2545     case ECOND_NUM_L:
2546     tempcond = (num[0] < num[1]);
2547     break;
2548
2549     case ECOND_NUM_LE:
2550     tempcond = (num[0] <= num[1]);
2551     break;
2552
2553     case ECOND_STR_LT:
2554     tempcond = (Ustrcmp(sub[0], sub[1]) < 0);
2555     break;
2556
2557     case ECOND_STR_LTI:
2558     tempcond = (strcmpic(sub[0], sub[1]) < 0);
2559     break;
2560
2561     case ECOND_STR_LE:
2562     tempcond = (Ustrcmp(sub[0], sub[1]) <= 0);
2563     break;
2564
2565     case ECOND_STR_LEI:
2566     tempcond = (strcmpic(sub[0], sub[1]) <= 0);
2567     break;
2568
2569     case ECOND_STR_EQ:
2570     tempcond = (Ustrcmp(sub[0], sub[1]) == 0);
2571     break;
2572
2573     case ECOND_STR_EQI:
2574     tempcond = (strcmpic(sub[0], sub[1]) == 0);
2575     break;
2576
2577     case ECOND_STR_GT:
2578     tempcond = (Ustrcmp(sub[0], sub[1]) > 0);
2579     break;
2580
2581     case ECOND_STR_GTI:
2582     tempcond = (strcmpic(sub[0], sub[1]) > 0);
2583     break;
2584
2585     case ECOND_STR_GE:
2586     tempcond = (Ustrcmp(sub[0], sub[1]) >= 0);
2587     break;
2588
2589     case ECOND_STR_GEI:
2590     tempcond = (strcmpic(sub[0], sub[1]) >= 0);
2591     break;
2592
2593     case ECOND_MATCH:   /* Regular expression match */
2594     re = pcre_compile(CS sub[1], PCRE_COPT, (const char **)&rerror, &roffset,
2595       NULL);
2596     if (re == NULL)
2597       {
2598       expand_string_message = string_sprintf("regular expression error in "
2599         "\"%s\": %s at offset %d", sub[1], rerror, roffset);
2600       return NULL;
2601       }
2602     tempcond = regex_match_and_setup(re, sub[0], 0, -1);
2603     break;
2604
2605     case ECOND_MATCH_ADDRESS:  /* Match in an address list */
2606     rc = match_address_list(sub[0], TRUE, FALSE, &(sub[1]), NULL, -1, 0, NULL);
2607     goto MATCHED_SOMETHING;
2608
2609     case ECOND_MATCH_DOMAIN:   /* Match in a domain list */
2610     rc = match_isinlist(sub[0], &(sub[1]), 0, &domainlist_anchor, NULL,
2611       MCL_DOMAIN + MCL_NOEXPAND, TRUE, NULL);
2612     goto MATCHED_SOMETHING;
2613
2614     case ECOND_MATCH_IP:       /* Match IP address in a host list */
2615     if (sub[0][0] != 0 && string_is_ip_address(sub[0], NULL) == 0)
2616       {
2617       expand_string_message = string_sprintf("\"%s\" is not an IP address",
2618         sub[0]);
2619       return NULL;
2620       }
2621     else
2622       {
2623       unsigned int *nullcache = NULL;
2624       check_host_block cb;
2625
2626       cb.host_name = US"";
2627       cb.host_address = sub[0];
2628
2629       /* If the host address starts off ::ffff: it is an IPv6 address in
2630       IPv4-compatible mode. Find the IPv4 part for checking against IPv4
2631       addresses. */
2632
2633       cb.host_ipv4 = (Ustrncmp(cb.host_address, "::ffff:", 7) == 0)?
2634         cb.host_address + 7 : cb.host_address;
2635
2636       rc = match_check_list(
2637              &sub[1],                   /* the list */
2638              0,                         /* separator character */
2639              &hostlist_anchor,          /* anchor pointer */
2640              &nullcache,                /* cache pointer */
2641              check_host,                /* function for testing */
2642              &cb,                       /* argument for function */
2643              MCL_HOST,                  /* type of check */
2644              sub[0],                    /* text for debugging */
2645              NULL);                     /* where to pass back data */
2646       }
2647     goto MATCHED_SOMETHING;
2648
2649     case ECOND_MATCH_LOCAL_PART:
2650     rc = match_isinlist(sub[0], &(sub[1]), 0, &localpartlist_anchor, NULL,
2651       MCL_LOCALPART + MCL_NOEXPAND, TRUE, NULL);
2652     /* Fall through */
2653     /* VVVVVVVVVVVV */
2654     MATCHED_SOMETHING:
2655     switch(rc)
2656       {
2657       case OK:
2658       tempcond = TRUE;
2659       break;
2660
2661       case FAIL:
2662       tempcond = FALSE;
2663       break;
2664
2665       case DEFER:
2666       expand_string_message = string_sprintf("unable to complete match "
2667         "against \"%s\": %s", sub[1], search_error_message);
2668       return NULL;
2669       }
2670
2671     break;
2672
2673     /* Various "encrypted" comparisons. If the second string starts with
2674     "{" then an encryption type is given. Default to crypt() or crypt16()
2675     (build-time choice). */
2676     /* }-for-text-editors */
2677
2678     case ECOND_CRYPTEQ:
2679     #ifndef SUPPORT_CRYPTEQ
2680     goto COND_FAILED_NOT_COMPILED;
2681     #else
2682     if (strncmpic(sub[1], US"{md5}", 5) == 0)
2683       {
2684       int sublen = Ustrlen(sub[1]+5);
2685       md5 base;
2686       uschar digest[16];
2687
2688       md5_start(&base);
2689       md5_end(&base, (uschar *)sub[0], Ustrlen(sub[0]), digest);
2690
2691       /* If the length that we are comparing against is 24, the MD5 digest
2692       is expressed as a base64 string. This is the way LDAP does it. However,
2693       some other software uses a straightforward hex representation. We assume
2694       this if the length is 32. Other lengths fail. */
2695
2696       if (sublen == 24)
2697         {
2698         uschar *coded = b64encode((uschar *)digest, 16);
2699         DEBUG(D_auth) debug_printf("crypteq: using MD5+B64 hashing\n"
2700           "  subject=%s\n  crypted=%s\n", coded, sub[1]+5);
2701         tempcond = (Ustrcmp(coded, sub[1]+5) == 0);
2702         }
2703       else if (sublen == 32)
2704         {
2705         int i;
2706         uschar coded[36];
2707         for (i = 0; i < 16; i++) sprintf(CS (coded+2*i), "%02X", digest[i]);
2708         coded[32] = 0;
2709         DEBUG(D_auth) debug_printf("crypteq: using MD5+hex hashing\n"
2710           "  subject=%s\n  crypted=%s\n", coded, sub[1]+5);
2711         tempcond = (strcmpic(coded, sub[1]+5) == 0);
2712         }
2713       else
2714         {
2715         DEBUG(D_auth) debug_printf("crypteq: length for MD5 not 24 or 32: "
2716           "fail\n  crypted=%s\n", sub[1]+5);
2717         tempcond = FALSE;
2718         }
2719       }
2720
2721     else if (strncmpic(sub[1], US"{sha1}", 6) == 0)
2722       {
2723       int sublen = Ustrlen(sub[1]+6);
2724       hctx h;
2725       uschar digest[20];
2726
2727       sha1_start(&h);
2728       sha1_end(&h, (uschar *)sub[0], Ustrlen(sub[0]), digest);
2729
2730       /* If the length that we are comparing against is 28, assume the SHA1
2731       digest is expressed as a base64 string. If the length is 40, assume a
2732       straightforward hex representation. Other lengths fail. */
2733
2734       if (sublen == 28)
2735         {
2736         uschar *coded = b64encode((uschar *)digest, 20);
2737         DEBUG(D_auth) debug_printf("crypteq: using SHA1+B64 hashing\n"
2738           "  subject=%s\n  crypted=%s\n", coded, sub[1]+6);
2739         tempcond = (Ustrcmp(coded, sub[1]+6) == 0);
2740         }
2741       else if (sublen == 40)
2742         {
2743         int i;
2744         uschar coded[44];
2745         for (i = 0; i < 20; i++) sprintf(CS (coded+2*i), "%02X", digest[i]);
2746         coded[40] = 0;
2747         DEBUG(D_auth) debug_printf("crypteq: using SHA1+hex hashing\n"
2748           "  subject=%s\n  crypted=%s\n", coded, sub[1]+6);
2749         tempcond = (strcmpic(coded, sub[1]+6) == 0);
2750         }
2751       else
2752         {
2753         DEBUG(D_auth) debug_printf("crypteq: length for SHA-1 not 28 or 40: "
2754           "fail\n  crypted=%s\n", sub[1]+6);
2755         tempcond = FALSE;
2756         }
2757       }
2758
2759     else   /* {crypt} or {crypt16} and non-{ at start */
2760            /* }-for-text-editors */
2761       {
2762       int which = 0;
2763       uschar *coded;
2764
2765       if (strncmpic(sub[1], US"{crypt}", 7) == 0)
2766         {
2767         sub[1] += 7;
2768         which = 1;
2769         }
2770       else if (strncmpic(sub[1], US"{crypt16}", 9) == 0)
2771         {
2772         sub[1] += 9;
2773         which = 2;
2774         }
2775       else if (sub[1][0] == '{')                /* }-for-text-editors */
2776         {
2777         expand_string_message = string_sprintf("unknown encryption mechanism "
2778           "in \"%s\"", sub[1]);
2779         return NULL;
2780         }
2781
2782       switch(which)
2783         {
2784         case 0:  coded = US DEFAULT_CRYPT(CS sub[0], CS sub[1]); break;
2785         case 1:  coded = US crypt(CS sub[0], CS sub[1]); break;
2786         default: coded = US crypt16(CS sub[0], CS sub[1]); break;
2787         }
2788
2789       #define STR(s) # s
2790       #define XSTR(s) STR(s)
2791       DEBUG(D_auth) debug_printf("crypteq: using %s()\n"
2792         "  subject=%s\n  crypted=%s\n",
2793         which == 0 ? XSTR(DEFAULT_CRYPT) : which == 1 ? "crypt" : "crypt16",
2794         coded, sub[1]);
2795       #undef STR
2796       #undef XSTR
2797
2798       /* If the encrypted string contains fewer than two characters (for the
2799       salt), force failure. Otherwise we get false positives: with an empty
2800       string the yield of crypt() is an empty string! */
2801
2802       if (coded)
2803         tempcond = Ustrlen(sub[1]) < 2 ? FALSE : Ustrcmp(coded, sub[1]) == 0;
2804       else if (errno == EINVAL)
2805         tempcond = FALSE;
2806       else
2807         {
2808         expand_string_message = string_sprintf("crypt error: %s\n",
2809           US strerror(errno));
2810         return NULL;
2811         }
2812       }
2813     break;
2814     #endif  /* SUPPORT_CRYPTEQ */
2815
2816     case ECOND_INLIST:
2817     case ECOND_INLISTI:
2818       {
2819       const uschar * list = sub[1];
2820       int sep = 0;
2821       uschar *save_iterate_item = iterate_item;
2822       int (*compare)(const uschar *, const uschar *);
2823
2824       DEBUG(D_expand) debug_printf("condition: %s\n", name);
2825
2826       tempcond = FALSE;
2827       compare = cond_type == ECOND_INLISTI
2828         ? strcmpic : (int (*)(const uschar *, const uschar *)) strcmp;
2829
2830       while ((iterate_item = string_nextinlist(&list, &sep, NULL, 0)))
2831         if (compare(sub[0], iterate_item) == 0)
2832           {
2833           tempcond = TRUE;
2834           break;
2835           }
2836       iterate_item = save_iterate_item;
2837       }
2838
2839     }   /* Switch for comparison conditions */
2840
2841   *yield = tempcond == testfor;
2842   return s;    /* End of comparison conditions */
2843
2844
2845   /* and/or: computes logical and/or of several conditions */
2846
2847   case ECOND_AND:
2848   case ECOND_OR:
2849   subcondptr = (yield == NULL)? NULL : &tempcond;
2850   combined_cond = (cond_type == ECOND_AND);
2851
2852   while (isspace(*s)) s++;
2853   if (*s++ != '{') goto COND_FAILED_CURLY_START;        /* }-for-text-editors */
2854
2855   for (;;)
2856     {
2857     while (isspace(*s)) s++;
2858     /* {-for-text-editors */
2859     if (*s == '}') break;
2860     if (*s != '{')                                      /* }-for-text-editors */
2861       {
2862       expand_string_message = string_sprintf("each subcondition "
2863         "inside an \"%s{...}\" condition must be in its own {}", name);
2864       return NULL;
2865       }
2866
2867     if (!(s = eval_condition(s+1, resetok, subcondptr)))
2868       {
2869       expand_string_message = string_sprintf("%s inside \"%s{...}\" condition",
2870         expand_string_message, name);
2871       return NULL;
2872       }
2873     while (isspace(*s)) s++;
2874
2875     /* {-for-text-editors */
2876     if (*s++ != '}')
2877       {
2878       /* {-for-text-editors */
2879       expand_string_message = string_sprintf("missing } at end of condition "
2880         "inside \"%s\" group", name);
2881       return NULL;
2882       }
2883
2884     if (yield != NULL)
2885       {
2886       if (cond_type == ECOND_AND)
2887         {
2888         combined_cond &= tempcond;
2889         if (!combined_cond) subcondptr = NULL;  /* once false, don't */
2890         }                                       /* evaluate any more */
2891       else
2892         {
2893         combined_cond |= tempcond;
2894         if (combined_cond) subcondptr = NULL;   /* once true, don't */
2895         }                                       /* evaluate any more */
2896       }
2897     }
2898
2899   if (yield != NULL) *yield = (combined_cond == testfor);
2900   return ++s;
2901
2902
2903   /* forall/forany: iterates a condition with different values */
2904
2905   case ECOND_FORALL:
2906   case ECOND_FORANY:
2907     {
2908     const uschar * list;
2909     int sep = 0;
2910     uschar *save_iterate_item = iterate_item;
2911
2912     DEBUG(D_expand) debug_printf("condition: %s\n", name);
2913
2914     while (isspace(*s)) s++;
2915     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /* }-for-text-editors */
2916     sub[0] = expand_string_internal(s, TRUE, &s, (yield == NULL), TRUE, resetok);
2917     if (sub[0] == NULL) return NULL;
2918     /* {-for-text-editors */
2919     if (*s++ != '}') goto COND_FAILED_CURLY_END;
2920
2921     while (isspace(*s)) s++;
2922     if (*s++ != '{') goto COND_FAILED_CURLY_START;      /* }-for-text-editors */
2923
2924     sub[1] = s;
2925
2926     /* Call eval_condition once, with result discarded (as if scanning a
2927     "false" part). This allows us to find the end of the condition, because if
2928     the list it empty, we won't actually evaluate the condition for real. */
2929
2930     if (!(s = eval_condition(sub[1], resetok, NULL)))
2931       {
2932       expand_string_message = string_sprintf("%s inside \"%s\" condition",
2933         expand_string_message, name);
2934       return NULL;
2935       }
2936     while (isspace(*s)) s++;
2937
2938     /* {-for-text-editors */
2939     if (*s++ != '}')
2940       {
2941       /* {-for-text-editors */
2942       expand_string_message = string_sprintf("missing } at end of condition "
2943         "inside \"%s\"", name);
2944       return NULL;
2945       }
2946
2947     if (yield != NULL) *yield = !testfor;
2948     list = sub[0];
2949     while ((iterate_item = string_nextinlist(&list, &sep, NULL, 0)) != NULL)
2950       {
2951       DEBUG(D_expand) debug_printf("%s: $item = \"%s\"\n", name, iterate_item);
2952       if (!eval_condition(sub[1], resetok, &tempcond))
2953         {
2954         expand_string_message = string_sprintf("%s inside \"%s\" condition",
2955           expand_string_message, name);
2956         iterate_item = save_iterate_item;
2957         return NULL;
2958         }
2959       DEBUG(D_expand) debug_printf("%s: condition evaluated to %s\n", name,
2960         tempcond? "true":"false");
2961
2962       if (yield != NULL) *yield = (tempcond == testfor);
2963       if (tempcond == (cond_type == ECOND_FORANY)) break;
2964       }
2965
2966     iterate_item = save_iterate_item;
2967     return s;
2968     }
2969
2970
2971   /* The bool{} expansion condition maps a string to boolean.
2972   The values supported should match those supported by the ACL condition
2973   (acl.c, ACLC_CONDITION) so that we keep to a minimum the different ideas
2974   of true/false.  Note that Router "condition" rules have a different
2975   interpretation, where general data can be used and only a few values
2976   map to FALSE.
2977   Note that readconf.c boolean matching, for boolean configuration options,
2978   only matches true/yes/false/no.
2979   The bool_lax{} condition matches the Router logic, which is much more
2980   liberal. */
2981   case ECOND_BOOL:
2982   case ECOND_BOOL_LAX:
2983     {
2984     uschar *sub_arg[1];
2985     uschar *t, *t2;
2986     uschar *ourname;
2987     size_t len;
2988     BOOL boolvalue = FALSE;
2989     while (isspace(*s)) s++;
2990     if (*s != '{') goto COND_FAILED_CURLY_START;        /* }-for-text-editors */
2991     ourname = cond_type == ECOND_BOOL_LAX ? US"bool_lax" : US"bool";
2992     switch(read_subs(sub_arg, 1, 1, &s, yield == NULL, FALSE, ourname, resetok))
2993       {
2994       case 1: expand_string_message = string_sprintf(
2995                   "too few arguments or bracketing error for %s",
2996                   ourname);
2997       /*FALLTHROUGH*/
2998       case 2:
2999       case 3: return NULL;
3000       }
3001     t = sub_arg[0];
3002     while (isspace(*t)) t++;
3003     len = Ustrlen(t);
3004     if (len)
3005       {
3006       /* trailing whitespace: seems like a good idea to ignore it too */
3007       t2 = t + len - 1;
3008       while (isspace(*t2)) t2--;
3009       if (t2 != (t + len))
3010         {
3011         *++t2 = '\0';
3012         len = t2 - t;
3013         }
3014       }
3015     DEBUG(D_expand)
3016       debug_printf("considering %s: %s\n", ourname, len ? t : US"<empty>");
3017     /* logic for the lax case from expand_check_condition(), which also does
3018     expands, and the logic is both short and stable enough that there should
3019     be no maintenance burden from replicating it. */
3020     if (len == 0)
3021       boolvalue = FALSE;
3022     else if (*t == '-'
3023              ? Ustrspn(t+1, "0123456789") == len-1
3024              : Ustrspn(t,   "0123456789") == len)
3025       {
3026       boolvalue = (Uatoi(t) == 0) ? FALSE : TRUE;
3027       /* expand_check_condition only does a literal string "0" check */
3028       if ((cond_type == ECOND_BOOL_LAX) && (len > 1))
3029         boolvalue = TRUE;
3030       }
3031     else if (strcmpic(t, US"true") == 0 || strcmpic(t, US"yes") == 0)
3032       boolvalue = TRUE;
3033     else if (strcmpic(t, US"false") == 0 || strcmpic(t, US"no") == 0)
3034       boolvalue = FALSE;
3035     else if (cond_type == ECOND_BOOL_LAX)
3036       boolvalue = TRUE;
3037     else
3038       {
3039       expand_string_message = string_sprintf("unrecognised boolean "
3040        "value \"%s\"", t);
3041       return NULL;
3042       }
3043     if (yield != NULL) *yield = (boolvalue == testfor);
3044     return s;
3045     }
3046
3047   /* Unknown condition */
3048
3049   default:
3050   expand_string_message = string_sprintf("unknown condition \"%s\"", name);
3051   return NULL;
3052   }   /* End switch on condition type */
3053
3054 /* Missing braces at start and end of data */
3055
3056 COND_FAILED_CURLY_START:
3057 expand_string_message = string_sprintf("missing { after \"%s\"", name);
3058 return NULL;
3059
3060 COND_FAILED_CURLY_END:
3061 expand_string_message = string_sprintf("missing } at end of \"%s\" condition",
3062   name);
3063 return NULL;
3064
3065 /* A condition requires code that is not compiled */
3066
3067 #if !defined(SUPPORT_PAM) || !defined(RADIUS_CONFIG_FILE) || \
3068     !defined(LOOKUP_LDAP) || !defined(CYRUS_PWCHECK_SOCKET) || \
3069     !defined(SUPPORT_CRYPTEQ) || !defined(CYRUS_SASLAUTHD_SOCKET)
3070 COND_FAILED_NOT_COMPILED:
3071 expand_string_message = string_sprintf("support for \"%s\" not compiled",
3072   name);
3073 return NULL;
3074 #endif
3075 }
3076
3077
3078
3079
3080 /*************************************************
3081 *          Save numerical variables              *
3082 *************************************************/
3083
3084 /* This function is called from items such as "if" that want to preserve and
3085 restore the numbered variables.
3086
3087 Arguments:
3088   save_expand_string    points to an array of pointers to set
3089   save_expand_nlength   points to an array of ints for the lengths
3090
3091 Returns:                the value of expand max to save
3092 */
3093
3094 static int
3095 save_expand_strings(uschar **save_expand_nstring, int *save_expand_nlength)
3096 {
3097 int i;
3098 for (i = 0; i <= expand_nmax; i++)
3099   {
3100   save_expand_nstring[i] = expand_nstring[i];
3101   save_expand_nlength[i] = expand_nlength[i];
3102   }
3103 return expand_nmax;
3104 }
3105
3106
3107
3108 /*************************************************
3109 *           Restore numerical variables          *
3110 *************************************************/
3111
3112 /* This function restored saved values of numerical strings.
3113
3114 Arguments:
3115   save_expand_nmax      the number of strings to restore
3116   save_expand_string    points to an array of pointers
3117   save_expand_nlength   points to an array of ints
3118
3119 Returns:                nothing
3120 */
3121
3122 static void
3123 restore_expand_strings(int save_expand_nmax, uschar **save_expand_nstring,
3124   int *save_expand_nlength)
3125 {
3126 int i;
3127 expand_nmax = save_expand_nmax;
3128 for (i = 0; i <= expand_nmax; i++)
3129   {
3130   expand_nstring[i] = save_expand_nstring[i];
3131   expand_nlength[i] = save_expand_nlength[i];
3132   }
3133 }
3134
3135
3136
3137
3138
3139 /*************************************************
3140 *            Handle yes/no substrings            *
3141 *************************************************/
3142
3143 /* This function is used by ${if}, ${lookup} and ${extract} to handle the
3144 alternative substrings that depend on whether or not the condition was true,
3145 or the lookup or extraction succeeded. The substrings always have to be
3146 expanded, to check their syntax, but "skipping" is set when the result is not
3147 needed - this avoids unnecessary nested lookups.
3148
3149 Arguments:
3150   skipping       TRUE if we were skipping when this item was reached
3151   yes            TRUE if the first string is to be used, else use the second
3152   save_lookup    a value to put back into lookup_value before the 2nd expansion
3153   sptr           points to the input string pointer
3154   yieldptr       points to the output string pointer
3155   sizeptr        points to the output string size
3156   ptrptr         points to the output string pointer
3157   type           "lookup", "if", "extract", "run", "env", "listextract" or
3158                  "certextract" for error message
3159   resetok        if not NULL, pointer to flag - write FALSE if unsafe to reset
3160                 the store.
3161
3162 Returns:         0 OK; lookup_value has been reset to save_lookup
3163                  1 expansion failed
3164                  2 expansion failed because of bracketing error
3165 */
3166
3167 static int
3168 process_yesno(BOOL skipping, BOOL yes, uschar *save_lookup, const uschar **sptr,
3169   uschar **yieldptr, int *sizeptr, int *ptrptr, uschar *type, BOOL *resetok)
3170 {
3171 int rc = 0;
3172 const uschar *s = *sptr;    /* Local value */
3173 uschar *sub1, *sub2;
3174 const uschar * errwhere;
3175
3176 /* If there are no following strings, we substitute the contents of $value for
3177 lookups and for extractions in the success case. For the ${if item, the string
3178 "true" is substituted. In the fail case, nothing is substituted for all three
3179 items. */
3180
3181 while (isspace(*s)) s++;
3182 if (*s == '}')
3183   {
3184   if (type[0] == 'i')
3185     {
3186     if (yes) *yieldptr = string_catn(*yieldptr, sizeptr, ptrptr, US"true", 4);
3187     }
3188   else
3189     {
3190     if (yes && lookup_value)
3191       *yieldptr = string_cat(*yieldptr, sizeptr, ptrptr, lookup_value);
3192     lookup_value = save_lookup;
3193     }
3194   s++;
3195   goto RETURN;
3196   }
3197
3198 /* The first following string must be braced. */
3199
3200 if (*s++ != '{')
3201   {
3202   errwhere = US"'yes' part did not start with '{'";
3203   goto FAILED_CURLY;
3204   }
3205
3206 /* Expand the first substring. Forced failures are noticed only if we actually
3207 want this string. Set skipping in the call in the fail case (this will always
3208 be the case if we were already skipping). */
3209
3210 sub1 = expand_string_internal(s, TRUE, &s, !yes, TRUE, resetok);
3211 if (sub1 == NULL && (yes || !expand_string_forcedfail)) goto FAILED;
3212 expand_string_forcedfail = FALSE;
3213 if (*s++ != '}')
3214   {
3215   errwhere = US"'yes' part did not end with '}'";
3216   goto FAILED_CURLY;
3217   }
3218
3219 /* If we want the first string, add it to the output */
3220
3221 if (yes)
3222   *yieldptr = string_cat(*yieldptr, sizeptr, ptrptr, sub1);
3223
3224 /* If this is called from a lookup/env or a (cert)extract, we want to restore
3225 $value to what it was at the start of the item, so that it has this value
3226 during the second string expansion. For the call from "if" or "run" to this
3227 function, save_lookup is set to lookup_value, so that this statement does
3228 nothing. */
3229
3230 lookup_value = save_lookup;
3231
3232 /* There now follows either another substring, or "fail", or nothing. This
3233 time, forced failures are noticed only if we want the second string. We must
3234 set skipping in the nested call if we don't want this string, or if we were
3235 already skipping. */
3236
3237 while (isspace(*s)) s++;
3238 if (*s == '{')
3239   {
3240   sub2 = expand_string_internal(s+1, TRUE, &s, yes || skipping, TRUE, resetok);
3241   if (sub2 == NULL && (!yes || !expand_string_forcedfail)) goto FAILED;
3242   expand_string_forcedfail = FALSE;
3243   if (*s++ != '}')
3244     {
3245     errwhere = US"'no' part did not start with '{'";
3246     goto FAILED_CURLY;
3247     }
3248
3249   /* If we want the second string, add it to the output */
3250
3251   if (!yes)
3252     *yieldptr = string_cat(*yieldptr, sizeptr, ptrptr, sub2);
3253   }
3254
3255 /* If there is no second string, but the word "fail" is present when the use of
3256 the second string is wanted, set a flag indicating it was a forced failure
3257 rather than a syntactic error. Swallow the terminating } in case this is nested
3258 inside another lookup or if or extract. */
3259
3260 else if (*s != '}')
3261   {
3262   uschar name[256];
3263   /* deconst cast ok here as source is s anyway */
3264   s = US read_name(name, sizeof(name), s, US"_");
3265   if (Ustrcmp(name, "fail") == 0)
3266     {
3267     if (!yes && !skipping)
3268       {
3269       while (isspace(*s)) s++;
3270       if (*s++ != '}')
3271         {
3272         errwhere = US"did not close with '}' after forcedfail";
3273         goto FAILED_CURLY;
3274         }
3275       expand_string_message =
3276         string_sprintf("\"%s\" failed and \"fail\" requested", type);
3277       expand_string_forcedfail = TRUE;
3278       goto FAILED;
3279       }
3280     }
3281   else
3282     {
3283     expand_string_message =
3284       string_sprintf("syntax error in \"%s\" item - \"fail\" expected", type);
3285     goto FAILED;
3286     }
3287   }
3288
3289 /* All we have to do now is to check on the final closing brace. */
3290
3291 while (isspace(*s)) s++;
3292 if (*s++ != '}')
3293   {
3294   errwhere = US"did not close with '}'";
3295   goto FAILED_CURLY;
3296   }
3297
3298
3299 RETURN:
3300 /* Update the input pointer value before returning */
3301 *sptr = s;
3302 return rc;
3303
3304 FAILED_CURLY:
3305   /* Get here if there is a bracketing failure */
3306   expand_string_message = string_sprintf(
3307     "curly-bracket problem in conditional yes/no parsing: %s\n"
3308     " remaining string is '%s'", errwhere, --s);
3309   rc = 2;
3310   goto RETURN;
3311
3312 FAILED:
3313   /* Get here for other failures */
3314   rc = 1;
3315   goto RETURN;
3316 }
3317
3318
3319
3320
3321 /*************************************************
3322 *    Handle MD5 or SHA-1 computation for HMAC    *
3323 *************************************************/
3324
3325 /* These are some wrapping functions that enable the HMAC code to be a bit
3326 cleaner. A good compiler will spot the tail recursion.
3327
3328 Arguments:
3329   type         HMAC_MD5 or HMAC_SHA1
3330   remaining    are as for the cryptographic hash functions
3331
3332 Returns:       nothing
3333 */
3334
3335 static void
3336 chash_start(int type, void *base)
3337 {
3338 if (type == HMAC_MD5)
3339   md5_start((md5 *)base);
3340 else
3341   sha1_start((hctx *)base);
3342 }
3343
3344 static void
3345 chash_mid(int type, void *base, uschar *string)
3346 {
3347 if (type == HMAC_MD5)
3348   md5_mid((md5 *)base, string);
3349 else
3350   sha1_mid((hctx *)base, string);
3351 }
3352
3353 static void
3354 chash_end(int type, void *base, uschar *string, int length, uschar *digest)
3355 {
3356 if (type == HMAC_MD5)
3357   md5_end((md5 *)base, string, length, digest);
3358 else
3359   sha1_end((hctx *)base, string, length, digest);
3360 }
3361
3362
3363
3364
3365
3366 /********************************************************
3367 * prvs: Get last three digits of days since Jan 1, 1970 *
3368 ********************************************************/
3369
3370 /* This is needed to implement the "prvs" BATV reverse
3371    path signing scheme
3372
3373 Argument: integer "days" offset to add or substract to
3374           or from the current number of days.
3375
3376 Returns:  pointer to string containing the last three
3377           digits of the number of days since Jan 1, 1970,
3378           modified by the offset argument, NULL if there
3379           was an error in the conversion.
3380
3381 */
3382
3383 static uschar *
3384 prvs_daystamp(int day_offset)
3385 {
3386 uschar *days = store_get(32);                /* Need at least 24 for cases */
3387 (void)string_format(days, 32, TIME_T_FMT,    /* where TIME_T_FMT is %lld */
3388   (time(NULL) + day_offset*86400)/86400);
3389 return (Ustrlen(days) >= 3) ? &days[Ustrlen(days)-3] : US"100";
3390 }
3391
3392
3393
3394 /********************************************************
3395 *   prvs: perform HMAC-SHA1 computation of prvs bits    *
3396 ********************************************************/
3397
3398 /* This is needed to implement the "prvs" BATV reverse
3399    path signing scheme
3400
3401 Arguments:
3402   address RFC2821 Address to use
3403       key The key to use (must be less than 64 characters
3404           in size)
3405   key_num Single-digit key number to use. Defaults to
3406           '0' when NULL.
3407
3408 Returns:  pointer to string containing the first three
3409           bytes of the final hash in hex format, NULL if
3410           there was an error in the process.
3411 */
3412
3413 static uschar *
3414 prvs_hmac_sha1(uschar *address, uschar *key, uschar *key_num, uschar *daystamp)
3415 {
3416 uschar *hash_source, *p;
3417 int size = 0,offset = 0,i;
3418 hctx h;
3419 uschar innerhash[20];
3420 uschar finalhash[20];
3421 uschar innerkey[64];
3422 uschar outerkey[64];
3423 uschar *finalhash_hex = store_get(40);
3424
3425 if (key_num == NULL)
3426   key_num = US"0";
3427
3428 if (Ustrlen(key) > 64)
3429   return NULL;
3430
3431 hash_source = string_catn(NULL, &size, &offset, key_num, 1);
3432 hash_source = string_catn(hash_source, &size, &offset, daystamp, 3);
3433 hash_source = string_cat(hash_source, &size, &offset, address);
3434 hash_source[offset] = '\0';
3435
3436 DEBUG(D_expand) debug_printf("prvs: hash source is '%s'\n", hash_source);
3437
3438 memset(innerkey, 0x36, 64);
3439 memset(outerkey, 0x5c, 64);
3440
3441 for (i = 0; i < Ustrlen(key); i++)
3442   {
3443   innerkey[i] ^= key[i];
3444   outerkey[i] ^= key[i];
3445   }
3446
3447 chash_start(HMAC_SHA1, &h);
3448 chash_mid(HMAC_SHA1, &h, innerkey);
3449 chash_end(HMAC_SHA1, &h, hash_source, offset, innerhash);
3450
3451 chash_start(HMAC_SHA1, &h);
3452 chash_mid(HMAC_SHA1, &h, outerkey);
3453 chash_end(HMAC_SHA1, &h, innerhash, 20, finalhash);
3454
3455 p = finalhash_hex;
3456 for (i = 0; i < 3; i++)
3457   {
3458   *p++ = hex_digits[(finalhash[i] & 0xf0) >> 4];
3459   *p++ = hex_digits[finalhash[i] & 0x0f];
3460   }
3461 *p = '\0';
3462
3463 return finalhash_hex;
3464 }
3465
3466
3467
3468
3469 /*************************************************
3470 *        Join a file onto the output string      *
3471 *************************************************/
3472
3473 /* This is used for readfile/readsock and after a run expansion.
3474 It joins the contents of a file onto the output string, globally replacing
3475 newlines with a given string (optionally).
3476
3477 Arguments:
3478   f            the FILE
3479   yield        pointer to the expandable string
3480   sizep        pointer to the current size
3481   ptrp         pointer to the current position
3482   eol          newline replacement string, or NULL
3483
3484 Returns:       new value of string pointer
3485 */
3486
3487 static uschar *
3488 cat_file(FILE *f, uschar *yield, int *sizep, int *ptrp, uschar *eol)
3489 {
3490 int eollen = eol ? Ustrlen(eol) : 0;
3491 uschar buffer[1024];
3492
3493 while (Ufgets(buffer, sizeof(buffer), f))
3494   {
3495   int len = Ustrlen(buffer);
3496   if (eol && buffer[len-1] == '\n') len--;
3497   yield = string_catn(yield, sizep, ptrp, buffer, len);
3498   if (buffer[len] != 0)
3499     yield = string_catn(yield, sizep, ptrp, eol, eollen);
3500   }
3501
3502 if (yield) yield[*ptrp] = 0;
3503
3504 return yield;
3505 }
3506
3507
3508
3509
3510 /*************************************************
3511 *          Evaluate numeric expression           *
3512 *************************************************/
3513
3514 /* This is a set of mutually recursive functions that evaluate an arithmetic
3515 expression involving + - * / % & | ^ ~ << >> and parentheses. The only one of
3516 these functions that is called from elsewhere is eval_expr, whose interface is:
3517
3518 Arguments:
3519   sptr        pointer to the pointer to the string - gets updated
3520   decimal     TRUE if numbers are to be assumed decimal
3521   error       pointer to where to put an error message - must be NULL on input
3522   endket      TRUE if ')' must terminate - FALSE for external call
3523
3524 Returns:      on success: the value of the expression, with *error still NULL
3525               on failure: an undefined value, with *error = a message
3526 */
3527
3528 static int_eximarith_t eval_op_or(uschar **, BOOL, uschar **);
3529
3530
3531 static int_eximarith_t
3532 eval_expr(uschar **sptr, BOOL decimal, uschar **error, BOOL endket)
3533 {
3534 uschar *s = *sptr;
3535 int_eximarith_t x = eval_op_or(&s, decimal, error);
3536 if (*error == NULL)
3537   {
3538   if (endket)
3539     {
3540     if (*s != ')')
3541       *error = US"expecting closing parenthesis";
3542     else
3543       while (isspace(*(++s)));
3544     }
3545   else if (*s != 0) *error = US"expecting operator";
3546   }
3547 *sptr = s;
3548 return x;
3549 }
3550
3551
3552 static int_eximarith_t
3553 eval_number(uschar **sptr, BOOL decimal, uschar **error)
3554 {
3555 register int c;
3556 int_eximarith_t n;
3557 uschar *s = *sptr;
3558 while (isspace(*s)) s++;
3559 c = *s;
3560 if (isdigit(c))
3561   {
3562   int count;
3563   (void)sscanf(CS s, (decimal? SC_EXIM_DEC "%n" : SC_EXIM_ARITH "%n"), &n, &count);
3564   s += count;
3565   switch (tolower(*s))
3566     {
3567     default: break;
3568     case 'k': n *= 1024; s++; break;
3569     case 'm': n *= 1024*1024; s++; break;
3570     case 'g': n *= 1024*1024*1024; s++; break;
3571     }
3572   while (isspace (*s)) s++;
3573   }
3574 else if (c == '(')
3575   {
3576   s++;
3577   n = eval_expr(&s, decimal, error, 1);
3578   }
3579 else
3580   {
3581   *error = US"expecting number or opening parenthesis";
3582   n = 0;
3583   }
3584 *sptr = s;
3585 return n;
3586 }
3587
3588
3589 static int_eximarith_t
3590 eval_op_unary(uschar **sptr, BOOL decimal, uschar **error)
3591 {
3592 uschar *s = *sptr;
3593 int_eximarith_t x;
3594 while (isspace(*s)) s++;
3595 if (*s == '+' || *s == '-' || *s == '~')
3596   {
3597   int op = *s++;
3598   x = eval_op_unary(&s, decimal, error);
3599   if (op == '-') x = -x;
3600     else if (op == '~') x = ~x;
3601   }
3602 else
3603   {
3604   x = eval_number(&s, decimal, error);
3605   }
3606 *sptr = s;
3607 return x;
3608 }
3609
3610
3611 static int_eximarith_t
3612 eval_op_mult(uschar **sptr, BOOL decimal, uschar **error)
3613 {
3614 uschar *s = *sptr;
3615 int_eximarith_t x = eval_op_unary(&s, decimal, error);
3616 if (*error == NULL)
3617   {
3618   while (*s == '*' || *s == '/' || *s == '%')
3619     {
3620     int op = *s++;
3621     int_eximarith_t y = eval_op_unary(&s, decimal, error);
3622     if (*error != NULL) break;
3623     /* SIGFPE both on div/mod by zero and on INT_MIN / -1, which would give
3624      * a value of INT_MAX+1. Note that INT_MIN * -1 gives INT_MIN for me, which
3625      * is a bug somewhere in [gcc 4.2.1, FreeBSD, amd64].  In fact, -N*-M where
3626      * -N*M is INT_MIN will yielf INT_MIN.
3627      * Since we don't support floating point, this is somewhat simpler.
3628      * Ideally, we'd return an error, but since we overflow for all other
3629      * arithmetic, consistency suggests otherwise, but what's the correct value
3630      * to use?  There is none.
3631      * The C standard guarantees overflow for unsigned arithmetic but signed
3632      * overflow invokes undefined behaviour; in practice, this is overflow
3633      * except for converting INT_MIN to INT_MAX+1.  We also can't guarantee
3634      * that long/longlong larger than int are available, or we could just work
3635      * with larger types.  We should consider whether to guarantee 32bit eval
3636      * and 64-bit working variables, with errors returned.  For now ...
3637      * So, the only SIGFPEs occur with a non-shrinking div/mod, thus -1; we
3638      * can just let the other invalid results occur otherwise, as they have
3639      * until now.  For this one case, we can coerce.
3640      */
3641     if (y == -1 && x == EXIM_ARITH_MIN && op != '*')
3642       {
3643       DEBUG(D_expand)
3644         debug_printf("Integer exception dodging: " PR_EXIM_ARITH "%c-1 coerced to " PR_EXIM_ARITH "\n",
3645             EXIM_ARITH_MIN, op, EXIM_ARITH_MAX);
3646       x = EXIM_ARITH_MAX;
3647       continue;
3648       }
3649     if (op == '*')
3650       x *= y;
3651     else
3652       {
3653       if (y == 0)
3654         {
3655         *error = (op == '/') ? US"divide by zero" : US"modulo by zero";
3656         x = 0;
3657         break;
3658         }
3659       if (op == '/')
3660         x /= y;
3661       else
3662         x %= y;
3663       }
3664     }
3665   }
3666 *sptr = s;
3667 return x;
3668 }
3669
3670
3671 static int_eximarith_t
3672 eval_op_sum(uschar **sptr, BOOL decimal, uschar **error)
3673 {
3674 uschar *s = *sptr;
3675 int_eximarith_t x = eval_op_mult(&s, decimal, error);
3676 if (!*error)
3677   {
3678   while (*s == '+' || *s == '-')
3679     {
3680     int op = *s++;
3681     int_eximarith_t y = eval_op_mult(&s, decimal, error);
3682     if (*error) break;
3683     if (  (x >=   EXIM_ARITH_MAX/2  && x >=   EXIM_ARITH_MAX/2)
3684        || (x <= -(EXIM_ARITH_MAX/2) && y <= -(EXIM_ARITH_MAX/2)))
3685       {                 /* over-conservative check */
3686       *error = op == '+'
3687         ? US"overflow in sum" : US"overflow in difference";
3688       break;
3689       }
3690     if (op == '+') x += y; else x -= y;
3691     }
3692   }
3693 *sptr = s;
3694 return x;
3695 }
3696
3697
3698 static int_eximarith_t
3699 eval_op_shift(uschar **sptr, BOOL decimal, uschar **error)
3700 {
3701 uschar *s = *sptr;
3702 int_eximarith_t x = eval_op_sum(&s, decimal, error);
3703 if (*error == NULL)
3704   {
3705   while ((*s == '<' || *s == '>') && s[1] == s[0])
3706     {
3707     int_eximarith_t y;
3708     int op = *s++;
3709     s++;
3710     y = eval_op_sum(&s, decimal, error);
3711     if (*error != NULL) break;
3712     if (op == '<') x <<= y; else x >>= y;
3713     }
3714   }
3715 *sptr = s;
3716 return x;
3717 }
3718
3719
3720 static int_eximarith_t
3721 eval_op_and(uschar **sptr, BOOL decimal, uschar **error)
3722 {
3723 uschar *s = *sptr;
3724 int_eximarith_t x = eval_op_shift(&s, decimal, error);
3725 if (*error == NULL)
3726   {
3727   while (*s == '&')
3728     {
3729     int_eximarith_t y;
3730     s++;
3731     y = eval_op_shift(&s, decimal, error);
3732     if (*error != NULL) break;
3733     x &= y;
3734     }
3735   }
3736 *sptr = s;
3737 return x;
3738 }
3739
3740
3741 static int_eximarith_t
3742 eval_op_xor(uschar **sptr, BOOL decimal, uschar **error)
3743 {
3744 uschar *s = *sptr;
3745 int_eximarith_t x = eval_op_and(&s, decimal, error);
3746 if (*error == NULL)
3747   {
3748   while (*s == '^')
3749     {
3750     int_eximarith_t y;
3751     s++;
3752     y = eval_op_and(&s, decimal, error);
3753     if (*error != NULL) break;
3754     x ^= y;
3755     }
3756   }
3757 *sptr = s;
3758 return x;
3759 }
3760
3761
3762 static int_eximarith_t
3763 eval_op_or(uschar **sptr, BOOL decimal, uschar **error)
3764 {
3765 uschar *s = *sptr;
3766 int_eximarith_t x = eval_op_xor(&s, decimal, error);
3767 if (*error == NULL)
3768   {
3769   while (*s == '|')
3770     {
3771     int_eximarith_t y;
3772     s++;
3773     y = eval_op_xor(&s, decimal, error);
3774     if (*error != NULL) break;
3775     x |= y;
3776     }
3777   }
3778 *sptr = s;
3779 return x;
3780 }
3781
3782
3783
3784 /*************************************************
3785 *                 Expand string                  *
3786 *************************************************/
3787
3788 /* Returns either an unchanged string, or the expanded string in stacking pool
3789 store. Interpreted sequences are:
3790
3791    \...                    normal escaping rules
3792    $name                   substitutes the variable
3793    ${name}                 ditto
3794    ${op:string}            operates on the expanded string value
3795    ${item{arg1}{arg2}...}  expands the args and then does the business
3796                              some literal args are not enclosed in {}
3797
3798 There are now far too many operators and item types to make it worth listing
3799 them here in detail any more.
3800
3801 We use an internal routine recursively to handle embedded substrings. The
3802 external function follows. The yield is NULL if the expansion failed, and there
3803 are two cases: if something collapsed syntactically, or if "fail" was given
3804 as the action on a lookup failure. These can be distinguised by looking at the
3805 variable expand_string_forcedfail, which is TRUE in the latter case.
3806
3807 The skipping flag is set true when expanding a substring that isn't actually
3808 going to be used (after "if" or "lookup") and it prevents lookups from
3809 happening lower down.
3810
3811 Store usage: At start, a store block of the length of the input plus 64
3812 is obtained. This is expanded as necessary by string_cat(), which might have to
3813 get a new block, or might be able to expand the original. At the end of the
3814 function we can release any store above that portion of the yield block that
3815 was actually used. In many cases this will be optimal.
3816
3817 However: if the first item in the expansion is a variable name or header name,
3818 we reset the store before processing it; if the result is in fresh store, we
3819 use that without copying. This is helpful for expanding strings like
3820 $message_headers which can get very long.
3821
3822 There's a problem if a ${dlfunc item has side-effects that cause allocation,
3823 since resetting the store at the end of the expansion will free store that was
3824 allocated by the plugin code as well as the slop after the expanded string. So
3825 we skip any resets if ${dlfunc } has been used. The same applies for ${acl }
3826 and, given the acl condition, ${if }. This is an unfortunate consequence of
3827 string expansion becoming too powerful.
3828
3829 Arguments:
3830   string         the string to be expanded
3831   ket_ends       true if expansion is to stop at }
3832   left           if not NULL, a pointer to the first character after the
3833                  expansion is placed here (typically used with ket_ends)
3834   skipping       TRUE for recursive calls when the value isn't actually going
3835                  to be used (to allow for optimisation)
3836   honour_dollar  TRUE if $ is to be expanded,
3837                  FALSE if it's just another character
3838   resetok_p      if not NULL, pointer to flag - write FALSE if unsafe to reset
3839                  the store.
3840
3841 Returns:         NULL if expansion fails:
3842                    expand_string_forcedfail is set TRUE if failure was forced
3843                    expand_string_message contains a textual error message
3844                  a pointer to the expanded string on success
3845 */
3846
3847 static uschar *
3848 expand_string_internal(const uschar *string, BOOL ket_ends, const uschar **left,
3849   BOOL skipping, BOOL honour_dollar, BOOL *resetok_p)
3850 {
3851 int ptr = 0;
3852 int size = Ustrlen(string)+ 64;
3853 uschar *yield = store_get(size);
3854 int item_type;
3855 const uschar *s = string;
3856 uschar *save_expand_nstring[EXPAND_MAXN+1];
3857 int save_expand_nlength[EXPAND_MAXN+1];
3858 BOOL resetok = TRUE;
3859
3860 DEBUG(D_expand)
3861   debug_printf("%s: %s\n", skipping ? "   scanning" : "considering", string);
3862
3863 expand_string_forcedfail = FALSE;
3864 expand_string_message = US"";
3865
3866 while (*s != 0)
3867   {
3868   uschar *value;
3869   uschar name[256];
3870
3871   /* \ escapes the next character, which must exist, or else
3872   the expansion fails. There's a special escape, \N, which causes
3873   copying of the subject verbatim up to the next \N. Otherwise,
3874   the escapes are the standard set. */
3875
3876   if (*s == '\\')
3877     {
3878     if (s[1] == 0)
3879       {
3880       expand_string_message = US"\\ at end of string";
3881       goto EXPAND_FAILED;
3882       }
3883
3884     if (s[1] == 'N')
3885       {
3886       const uschar * t = s + 2;
3887       for (s = t; *s != 0; s++) if (*s == '\\' && s[1] == 'N') break;
3888       yield = string_catn(yield, &size, &ptr, t, s - t);
3889       if (*s != 0) s += 2;
3890       }
3891
3892     else
3893       {
3894       uschar ch[1];
3895       ch[0] = string_interpret_escape(&s);
3896       s++;
3897       yield = string_catn(yield, &size, &ptr, ch, 1);
3898       }
3899
3900     continue;
3901     }
3902
3903   /*{*/
3904   /* Anything other than $ is just copied verbatim, unless we are
3905   looking for a terminating } character. */
3906
3907   /*{*/
3908   if (ket_ends && *s == '}') break;
3909
3910   if (*s != '$' || !honour_dollar)
3911     {
3912     yield = string_catn(yield, &size, &ptr, s++, 1);
3913     continue;
3914     }
3915
3916   /* No { after the $ - must be a plain name or a number for string
3917   match variable. There has to be a fudge for variables that are the
3918   names of header fields preceded by "$header_" because header field
3919   names can contain any printing characters except space and colon.
3920   For those that don't like typing this much, "$h_" is a synonym for
3921   "$header_". A non-existent header yields a NULL value; nothing is
3922   inserted. */  /*}*/
3923
3924   if (isalpha((*(++s))))
3925     {
3926     int len;
3927     int newsize = 0;
3928
3929     s = read_name(name, sizeof(name), s, US"_");
3930
3931     /* If this is the first thing to be expanded, release the pre-allocated
3932     buffer. */
3933
3934     if (ptr == 0 && yield != NULL)
3935       {
3936       if (resetok) store_reset(yield);
3937       yield = NULL;
3938       size = 0;
3939       }
3940
3941     /* Header */
3942
3943     if (Ustrncmp(name, "h_", 2) == 0 ||
3944         Ustrncmp(name, "rh_", 3) == 0 ||
3945         Ustrncmp(name, "bh_", 3) == 0 ||
3946         Ustrncmp(name, "header_", 7) == 0 ||
3947         Ustrncmp(name, "rheader_", 8) == 0 ||
3948         Ustrncmp(name, "bheader_", 8) == 0)
3949       {
3950       BOOL want_raw = (name[0] == 'r')? TRUE : FALSE;
3951       uschar *charset = (name[0] == 'b')? NULL : headers_charset;
3952       s = read_header_name(name, sizeof(name), s);
3953       value = find_header(name, FALSE, &newsize, want_raw, charset);
3954
3955       /* If we didn't find the header, and the header contains a closing brace
3956       character, this may be a user error where the terminating colon
3957       has been omitted. Set a flag to adjust the error message in this case.
3958       But there is no error here - nothing gets inserted. */
3959
3960       if (value == NULL)
3961         {
3962         if (Ustrchr(name, '}') != NULL) malformed_header = TRUE;
3963         continue;
3964         }
3965       }
3966
3967     /* Variable */
3968
3969     else if (!(value = find_variable(name, FALSE, skipping, &newsize)))
3970       {
3971       expand_string_message =
3972         string_sprintf("unknown variable name \"%s\"", name);
3973         check_variable_error_message(name);
3974       goto EXPAND_FAILED;
3975       }
3976
3977     /* If the data is known to be in a new buffer, newsize will be set to the
3978     size of that buffer. If this is the first thing in an expansion string,
3979     yield will be NULL; just point it at the new store instead of copying. Many
3980     expansion strings contain just one reference, so this is a useful
3981     optimization, especially for humungous headers. */
3982
3983     len = Ustrlen(value);
3984     if (yield == NULL && newsize != 0)
3985       {
3986       yield = value;
3987       size = newsize;
3988       ptr = len;
3989       }
3990     else yield = string_catn(yield, &size, &ptr, value, len);
3991
3992     continue;
3993     }
3994
3995   if (isdigit(*s))
3996     {
3997     int n;
3998     s = read_cnumber(&n, s);
3999     if (n >= 0 && n <= expand_nmax)
4000       yield = string_catn(yield, &size, &ptr, expand_nstring[n],
4001         expand_nlength[n]);
4002     continue;
4003     }
4004
4005   /* Otherwise, if there's no '{' after $ it's an error. */             /*}*/
4006
4007   if (*s != '{')                                                        /*}*/
4008     {
4009     expand_string_message = US"$ not followed by letter, digit, or {";  /*}*/
4010     goto EXPAND_FAILED;
4011     }
4012
4013   /* After { there can be various things, but they all start with
4014   an initial word, except for a number for a string match variable. */
4015
4016   if (isdigit((*(++s))))
4017     {
4018     int n;
4019     s = read_cnumber(&n, s);            /*{*/
4020     if (*s++ != '}')
4021       {                                 /*{*/
4022       expand_string_message = US"} expected after number";
4023       goto EXPAND_FAILED;
4024       }
4025     if (n >= 0 && n <= expand_nmax)
4026       yield = string_catn(yield, &size, &ptr, expand_nstring[n],
4027         expand_nlength[n]);
4028     continue;
4029     }
4030
4031   if (!isalpha(*s))
4032     {
4033     expand_string_message = US"letter or digit expected after ${";      /*}*/
4034     goto EXPAND_FAILED;
4035     }
4036
4037   /* Allow "-" in names to cater for substrings with negative
4038   arguments. Since we are checking for known names after { this is
4039   OK. */
4040
4041   s = read_name(name, sizeof(name), s, US"_-");
4042   item_type = chop_match(name, item_table, nelem(item_table));
4043
4044   switch(item_type)
4045     {
4046     /* Call an ACL from an expansion.  We feed data in via $acl_arg1 - $acl_arg9.
4047     If the ACL returns accept or reject we return content set by "message ="
4048     There is currently no limit on recursion; this would have us call
4049     acl_check_internal() directly and get a current level from somewhere.
4050     See also the acl expansion condition ECOND_ACL and the traditional
4051     acl modifier ACLC_ACL.
4052     Assume that the function has side-effects on the store that must be preserved.
4053     */
4054
4055     case EITEM_ACL:
4056       /* ${acl {name} {arg1}{arg2}...} */
4057       {
4058       uschar *sub[10];  /* name + arg1-arg9 (which must match number of acl_arg[]) */
4059       uschar *user_msg;
4060
4061       switch(read_subs(sub, nelem(sub), 1, &s, skipping, TRUE, US"acl",
4062                       &resetok))
4063         {
4064         case 1: goto EXPAND_FAILED_CURLY;
4065         case 2:
4066         case 3: goto EXPAND_FAILED;
4067         }
4068       if (skipping) continue;
4069
4070       resetok = FALSE;
4071       switch(eval_acl(sub, nelem(sub), &user_msg))
4072         {
4073         case OK:
4074         case FAIL:
4075           DEBUG(D_expand)
4076             debug_printf("acl expansion yield: %s\n", user_msg);
4077           if (user_msg)
4078             yield = string_cat(yield, &size, &ptr, user_msg);
4079           continue;
4080
4081         case DEFER:
4082           expand_string_forcedfail = TRUE;
4083           /*FALLTHROUGH*/
4084         default:
4085           expand_string_message = string_sprintf("error from acl \"%s\"", sub[0]);
4086           goto EXPAND_FAILED;
4087         }
4088       }
4089
4090     /* Handle conditionals - preserve the values of the numerical expansion
4091     variables in case they get changed by a regular expression match in the
4092     condition. If not, they retain their external settings. At the end
4093     of this "if" section, they get restored to their previous values. */
4094
4095     case EITEM_IF:
4096       {
4097       BOOL cond = FALSE;
4098       const uschar *next_s;
4099       int save_expand_nmax =
4100         save_expand_strings(save_expand_nstring, save_expand_nlength);
4101
4102       while (isspace(*s)) s++;
4103       next_s = eval_condition(s, &resetok, skipping? NULL : &cond);
4104       if (next_s == NULL) goto EXPAND_FAILED;  /* message already set */
4105
4106       DEBUG(D_expand)
4107         debug_printf("condition: %.*s\n   result: %s\n", (int)(next_s - s), s,
4108           cond? "true" : "false");
4109
4110       s = next_s;
4111
4112       /* The handling of "yes" and "no" result strings is now in a separate
4113       function that is also used by ${lookup} and ${extract} and ${run}. */
4114
4115       switch(process_yesno(
4116                skipping,                     /* were previously skipping */
4117                cond,                         /* success/failure indicator */
4118                lookup_value,                 /* value to reset for string2 */
4119                &s,                           /* input pointer */
4120                &yield,                       /* output pointer */
4121                &size,                        /* output size */
4122                &ptr,                         /* output current point */
4123                US"if",                       /* condition type */
4124                &resetok))
4125         {
4126         case 1: goto EXPAND_FAILED;          /* when all is well, the */
4127         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
4128         }
4129
4130       /* Restore external setting of expansion variables for continuation
4131       at this level. */
4132
4133       restore_expand_strings(save_expand_nmax, save_expand_nstring,
4134         save_expand_nlength);
4135       continue;
4136       }
4137
4138 #ifdef SUPPORT_I18N
4139     case EITEM_IMAPFOLDER:
4140       {                         /* ${imapfolder {name}{sep]{specials}} */
4141       uschar *sub_arg[3];
4142       uschar *encoded;
4143
4144       switch(read_subs(sub_arg, nelem(sub_arg), 1, &s, skipping, TRUE, name,
4145                       &resetok))
4146         {
4147         case 1: goto EXPAND_FAILED_CURLY;
4148         case 2:
4149         case 3: goto EXPAND_FAILED;
4150         }
4151
4152       if (sub_arg[1] == NULL)           /* One argument */
4153         {
4154         sub_arg[1] = US"/";             /* default separator */
4155         sub_arg[2] = NULL;
4156         }
4157       else if (Ustrlen(sub_arg[1]) != 1)
4158         {
4159         expand_string_message =
4160           string_sprintf(
4161                 "IMAP folder separator must be one character, found \"%s\"",
4162                 sub_arg[1]);
4163         goto EXPAND_FAILED;
4164         }
4165
4166       if (!(encoded = imap_utf7_encode(sub_arg[0], headers_charset,
4167                           sub_arg[1][0], sub_arg[2], &expand_string_message)))
4168         goto EXPAND_FAILED;
4169       if (!skipping)
4170         yield = string_cat(yield, &size, &ptr, encoded);
4171       continue;
4172       }
4173 #endif
4174
4175     /* Handle database lookups unless locked out. If "skipping" is TRUE, we are
4176     expanding an internal string that isn't actually going to be used. All we
4177     need to do is check the syntax, so don't do a lookup at all. Preserve the
4178     values of the numerical expansion variables in case they get changed by a
4179     partial lookup. If not, they retain their external settings. At the end
4180     of this "lookup" section, they get restored to their previous values. */
4181
4182     case EITEM_LOOKUP:
4183       {
4184       int stype, partial, affixlen, starflags;
4185       int expand_setup = 0;
4186       int nameptr = 0;
4187       uschar *key, *filename;
4188       const uschar *affix;
4189       uschar *save_lookup_value = lookup_value;
4190       int save_expand_nmax =
4191         save_expand_strings(save_expand_nstring, save_expand_nlength);
4192
4193       if ((expand_forbid & RDO_LOOKUP) != 0)
4194         {
4195         expand_string_message = US"lookup expansions are not permitted";
4196         goto EXPAND_FAILED;
4197         }
4198
4199       /* Get the key we are to look up for single-key+file style lookups.
4200       Otherwise set the key NULL pro-tem. */
4201
4202       while (isspace(*s)) s++;
4203       if (*s == '{')                                    /*}*/
4204         {
4205         key = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
4206         if (!key) goto EXPAND_FAILED;                   /*{{*/
4207         if (*s++ != '}')
4208           {
4209           expand_string_message = US"missing '}' after lookup key";
4210           goto EXPAND_FAILED_CURLY;
4211           }
4212         while (isspace(*s)) s++;
4213         }
4214       else key = NULL;
4215
4216       /* Find out the type of database */
4217
4218       if (!isalpha(*s))
4219         {
4220         expand_string_message = US"missing lookup type";
4221         goto EXPAND_FAILED;
4222         }
4223
4224       /* The type is a string that may contain special characters of various
4225       kinds. Allow everything except space or { to appear; the actual content
4226       is checked by search_findtype_partial. */         /*}*/
4227
4228       while (*s != 0 && *s != '{' && !isspace(*s))      /*}*/
4229         {
4230         if (nameptr < sizeof(name) - 1) name[nameptr++] = *s;
4231         s++;
4232         }
4233       name[nameptr] = 0;
4234       while (isspace(*s)) s++;
4235
4236       /* Now check for the individual search type and any partial or default
4237       options. Only those types that are actually in the binary are valid. */
4238
4239       stype = search_findtype_partial(name, &partial, &affix, &affixlen,
4240         &starflags);
4241       if (stype < 0)
4242         {
4243         expand_string_message = search_error_message;
4244         goto EXPAND_FAILED;
4245         }
4246
4247       /* Check that a key was provided for those lookup types that need it,
4248       and was not supplied for those that use the query style. */
4249
4250       if (!mac_islookup(stype, lookup_querystyle|lookup_absfilequery))
4251         {
4252         if (key == NULL)
4253           {
4254           expand_string_message = string_sprintf("missing {key} for single-"
4255             "key \"%s\" lookup", name);
4256           goto EXPAND_FAILED;
4257           }
4258         }
4259       else
4260         {
4261         if (key != NULL)
4262           {
4263           expand_string_message = string_sprintf("a single key was given for "
4264             "lookup type \"%s\", which is not a single-key lookup type", name);
4265           goto EXPAND_FAILED;
4266           }
4267         }
4268
4269       /* Get the next string in brackets and expand it. It is the file name for
4270       single-key+file lookups, and the whole query otherwise. In the case of
4271       queries that also require a file name (e.g. sqlite), the file name comes
4272       first. */
4273
4274       if (*s != '{')
4275         {
4276         expand_string_message = US"missing '{' for lookup file-or-query arg";
4277         goto EXPAND_FAILED_CURLY;
4278         }
4279       filename = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
4280       if (filename == NULL) goto EXPAND_FAILED;
4281       if (*s++ != '}')
4282         {
4283         expand_string_message = US"missing '}' closing lookup file-or-query arg";
4284         goto EXPAND_FAILED_CURLY;
4285         }
4286       while (isspace(*s)) s++;
4287
4288       /* If this isn't a single-key+file lookup, re-arrange the variables
4289       to be appropriate for the search_ functions. For query-style lookups,
4290       there is just a "key", and no file name. For the special query-style +
4291       file types, the query (i.e. "key") starts with a file name. */
4292
4293       if (!key)
4294         {
4295         while (isspace(*filename)) filename++;
4296         key = filename;
4297
4298         if (mac_islookup(stype, lookup_querystyle))
4299           filename = NULL;
4300         else
4301           {
4302           if (*filename != '/')
4303             {
4304             expand_string_message = string_sprintf(
4305               "absolute file name expected for \"%s\" lookup", name);
4306             goto EXPAND_FAILED;
4307             }
4308           while (*key != 0 && !isspace(*key)) key++;
4309           if (*key != 0) *key++ = 0;
4310           }
4311         }
4312
4313       /* If skipping, don't do the next bit - just lookup_value == NULL, as if
4314       the entry was not found. Note that there is no search_close() function.
4315       Files are left open in case of re-use. At suitable places in higher logic,
4316       search_tidyup() is called to tidy all open files. This can save opening
4317       the same file several times. However, files may also get closed when
4318       others are opened, if too many are open at once. The rule is that a
4319       handle should not be used after a second search_open().
4320
4321       Request that a partial search sets up $1 and maybe $2 by passing
4322       expand_setup containing zero. If its value changes, reset expand_nmax,
4323       since new variables will have been set. Note that at the end of this
4324       "lookup" section, the old numeric variables are restored. */
4325
4326       if (skipping)
4327         lookup_value = NULL;
4328       else
4329         {
4330         void *handle = search_open(filename, stype, 0, NULL, NULL);
4331         if (handle == NULL)
4332           {
4333           expand_string_message = search_error_message;
4334           goto EXPAND_FAILED;
4335           }
4336         lookup_value = search_find(handle, filename, key, partial, affix,
4337           affixlen, starflags, &expand_setup);
4338         if (search_find_defer)
4339           {
4340           expand_string_message =
4341             string_sprintf("lookup of \"%s\" gave DEFER: %s",
4342               string_printing2(key, FALSE), search_error_message);
4343           goto EXPAND_FAILED;
4344           }
4345         if (expand_setup > 0) expand_nmax = expand_setup;
4346         }
4347
4348       /* The handling of "yes" and "no" result strings is now in a separate
4349       function that is also used by ${if} and ${extract}. */
4350
4351       switch(process_yesno(
4352                skipping,                     /* were previously skipping */
4353                lookup_value != NULL,         /* success/failure indicator */
4354                save_lookup_value,            /* value to reset for string2 */
4355                &s,                           /* input pointer */
4356                &yield,                       /* output pointer */
4357                &size,                        /* output size */
4358                &ptr,                         /* output current point */
4359                US"lookup",                   /* condition type */
4360                &resetok))
4361         {
4362         case 1: goto EXPAND_FAILED;          /* when all is well, the */
4363         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
4364         }
4365
4366       /* Restore external setting of expansion variables for carrying on
4367       at this level, and continue. */
4368
4369       restore_expand_strings(save_expand_nmax, save_expand_nstring,
4370         save_expand_nlength);
4371       continue;
4372       }
4373
4374     /* If Perl support is configured, handle calling embedded perl subroutines,
4375     unless locked out at this time. Syntax is ${perl{sub}} or ${perl{sub}{arg}}
4376     or ${perl{sub}{arg1}{arg2}} or up to a maximum of EXIM_PERL_MAX_ARGS
4377     arguments (defined below). */
4378
4379     #define EXIM_PERL_MAX_ARGS 8
4380
4381     case EITEM_PERL:
4382     #ifndef EXIM_PERL
4383     expand_string_message = US"\"${perl\" encountered, but this facility "      /*}*/
4384       "is not included in this binary";
4385     goto EXPAND_FAILED;
4386
4387     #else   /* EXIM_PERL */
4388       {
4389       uschar *sub_arg[EXIM_PERL_MAX_ARGS + 2];
4390       uschar *new_yield;
4391
4392       if ((expand_forbid & RDO_PERL) != 0)
4393         {
4394         expand_string_message = US"Perl calls are not permitted";
4395         goto EXPAND_FAILED;
4396         }
4397
4398       switch(read_subs(sub_arg, EXIM_PERL_MAX_ARGS + 1, 1, &s, skipping, TRUE,
4399            US"perl", &resetok))
4400         {
4401         case 1: goto EXPAND_FAILED_CURLY;
4402         case 2:
4403         case 3: goto EXPAND_FAILED;
4404         }
4405
4406       /* If skipping, we don't actually do anything */
4407
4408       if (skipping) continue;
4409
4410       /* Start the interpreter if necessary */
4411
4412       if (!opt_perl_started)
4413         {
4414         uschar *initerror;
4415         if (opt_perl_startup == NULL)
4416           {
4417           expand_string_message = US"A setting of perl_startup is needed when "
4418             "using the Perl interpreter";
4419           goto EXPAND_FAILED;
4420           }
4421         DEBUG(D_any) debug_printf("Starting Perl interpreter\n");
4422         initerror = init_perl(opt_perl_startup);
4423         if (initerror != NULL)
4424           {
4425           expand_string_message =
4426             string_sprintf("error in perl_startup code: %s\n", initerror);
4427           goto EXPAND_FAILED;
4428           }
4429         opt_perl_started = TRUE;
4430         }
4431
4432       /* Call the function */
4433
4434       sub_arg[EXIM_PERL_MAX_ARGS + 1] = NULL;
4435       new_yield = call_perl_cat(yield, &size, &ptr, &expand_string_message,
4436         sub_arg[0], sub_arg + 1);
4437
4438       /* NULL yield indicates failure; if the message pointer has been set to
4439       NULL, the yield was undef, indicating a forced failure. Otherwise the
4440       message will indicate some kind of Perl error. */
4441
4442       if (new_yield == NULL)
4443         {
4444         if (expand_string_message == NULL)
4445           {
4446           expand_string_message =
4447             string_sprintf("Perl subroutine \"%s\" returned undef to force "
4448               "failure", sub_arg[0]);
4449           expand_string_forcedfail = TRUE;
4450           }
4451         goto EXPAND_FAILED;
4452         }
4453
4454       /* Yield succeeded. Ensure forcedfail is unset, just in case it got
4455       set during a callback from Perl. */
4456
4457       expand_string_forcedfail = FALSE;
4458       yield = new_yield;
4459       continue;
4460       }
4461     #endif /* EXIM_PERL */
4462
4463     /* Transform email address to "prvs" scheme to use
4464        as BATV-signed return path */
4465
4466     case EITEM_PRVS:
4467       {
4468       uschar *sub_arg[3];
4469       uschar *p,*domain;
4470
4471       switch(read_subs(sub_arg, 3, 2, &s, skipping, TRUE, US"prvs", &resetok))
4472         {
4473         case 1: goto EXPAND_FAILED_CURLY;
4474         case 2:
4475         case 3: goto EXPAND_FAILED;
4476         }
4477
4478       /* If skipping, we don't actually do anything */
4479       if (skipping) continue;
4480
4481       /* sub_arg[0] is the address */
4482       domain = Ustrrchr(sub_arg[0],'@');
4483       if ( (domain == NULL) || (domain == sub_arg[0]) || (Ustrlen(domain) == 1) )
4484         {
4485         expand_string_message = US"prvs first argument must be a qualified email address";
4486         goto EXPAND_FAILED;
4487         }
4488
4489       /* Calculate the hash. The second argument must be a single-digit
4490       key number, or unset. */
4491
4492       if (sub_arg[2] != NULL &&
4493           (!isdigit(sub_arg[2][0]) || sub_arg[2][1] != 0))
4494         {
4495         expand_string_message = US"prvs second argument must be a single digit";
4496         goto EXPAND_FAILED;
4497         }
4498
4499       p = prvs_hmac_sha1(sub_arg[0],sub_arg[1],sub_arg[2],prvs_daystamp(7));
4500       if (p == NULL)
4501         {
4502         expand_string_message = US"prvs hmac-sha1 conversion failed";
4503         goto EXPAND_FAILED;
4504         }
4505
4506       /* Now separate the domain from the local part */
4507       *domain++ = '\0';
4508
4509       yield = string_catn(yield, &size, &ptr, US"prvs=", 5);
4510       yield = string_catn(yield, &size, &ptr, sub_arg[2] ? sub_arg[2] : US"0", 1);
4511       yield = string_catn(yield, &size, &ptr, prvs_daystamp(7), 3);
4512       yield = string_catn(yield, &size, &ptr, p, 6);
4513       yield = string_catn(yield, &size, &ptr, US"=", 1);
4514       yield = string_cat (yield, &size, &ptr, sub_arg[0]);
4515       yield = string_catn(yield, &size, &ptr, US"@", 1);
4516       yield = string_cat (yield, &size, &ptr, domain);
4517
4518       continue;
4519       }
4520
4521     /* Check a prvs-encoded address for validity */
4522
4523     case EITEM_PRVSCHECK:
4524       {
4525       uschar *sub_arg[3];
4526       int mysize = 0, myptr = 0;
4527       const pcre *re;
4528       uschar *p;
4529
4530       /* TF: Ugliness: We want to expand parameter 1 first, then set
4531          up expansion variables that are used in the expansion of
4532          parameter 2. So we clone the string for the first
4533          expansion, where we only expand parameter 1.
4534
4535          PH: Actually, that isn't necessary. The read_subs() function is
4536          designed to work this way for the ${if and ${lookup expansions. I've
4537          tidied the code.
4538       */
4539
4540       /* Reset expansion variables */
4541       prvscheck_result = NULL;
4542       prvscheck_address = NULL;
4543       prvscheck_keynum = NULL;
4544
4545       switch(read_subs(sub_arg, 1, 1, &s, skipping, FALSE, US"prvs", &resetok))
4546         {
4547         case 1: goto EXPAND_FAILED_CURLY;
4548         case 2:
4549         case 3: goto EXPAND_FAILED;
4550         }
4551
4552       re = regex_must_compile(US"^prvs\\=([0-9])([0-9]{3})([A-F0-9]{6})\\=(.+)\\@(.+)$",
4553                               TRUE,FALSE);
4554
4555       if (regex_match_and_setup(re,sub_arg[0],0,-1))
4556         {
4557         uschar *local_part = string_copyn(expand_nstring[4],expand_nlength[4]);
4558         uschar *key_num = string_copyn(expand_nstring[1],expand_nlength[1]);
4559         uschar *daystamp = string_copyn(expand_nstring[2],expand_nlength[2]);
4560         uschar *hash = string_copyn(expand_nstring[3],expand_nlength[3]);
4561         uschar *domain = string_copyn(expand_nstring[5],expand_nlength[5]);
4562
4563         DEBUG(D_expand) debug_printf("prvscheck localpart: %s\n", local_part);
4564         DEBUG(D_expand) debug_printf("prvscheck key number: %s\n", key_num);
4565         DEBUG(D_expand) debug_printf("prvscheck daystamp: %s\n", daystamp);
4566         DEBUG(D_expand) debug_printf("prvscheck hash: %s\n", hash);
4567         DEBUG(D_expand) debug_printf("prvscheck domain: %s\n", domain);
4568
4569         /* Set up expansion variables */
4570         prvscheck_address = string_cat (NULL, &mysize, &myptr, local_part);
4571         prvscheck_address = string_catn(prvscheck_address, &mysize, &myptr, US"@", 1);
4572         prvscheck_address = string_cat (prvscheck_address, &mysize, &myptr, domain);
4573         prvscheck_address[myptr] = '\0';
4574         prvscheck_keynum = string_copy(key_num);
4575
4576         /* Now expand the second argument */
4577         switch(read_subs(sub_arg, 1, 1, &s, skipping, FALSE, US"prvs", &resetok))
4578           {
4579           case 1: goto EXPAND_FAILED_CURLY;
4580           case 2:
4581           case 3: goto EXPAND_FAILED;
4582           }
4583
4584         /* Now we have the key and can check the address. */
4585
4586         p = prvs_hmac_sha1(prvscheck_address, sub_arg[0], prvscheck_keynum,
4587           daystamp);
4588
4589         if (p == NULL)
4590           {
4591           expand_string_message = US"hmac-sha1 conversion failed";
4592           goto EXPAND_FAILED;
4593           }
4594
4595         DEBUG(D_expand) debug_printf("prvscheck: received hash is %s\n", hash);
4596         DEBUG(D_expand) debug_printf("prvscheck:      own hash is %s\n", p);
4597
4598         if (Ustrcmp(p,hash) == 0)
4599           {
4600           /* Success, valid BATV address. Now check the expiry date. */
4601           uschar *now = prvs_daystamp(0);
4602           unsigned int inow = 0,iexpire = 1;
4603
4604           (void)sscanf(CS now,"%u",&inow);
4605           (void)sscanf(CS daystamp,"%u",&iexpire);
4606
4607           /* When "iexpire" is < 7, a "flip" has occured.
4608              Adjust "inow" accordingly. */
4609           if ( (iexpire < 7) && (inow >= 993) ) inow = 0;
4610
4611           if (iexpire >= inow)
4612             {
4613             prvscheck_result = US"1";
4614             DEBUG(D_expand) debug_printf("prvscheck: success, $pvrs_result set to 1\n");
4615             }
4616             else
4617             {
4618             prvscheck_result = NULL;
4619             DEBUG(D_expand) debug_printf("prvscheck: signature expired, $pvrs_result unset\n");
4620             }
4621           }
4622         else
4623           {
4624           prvscheck_result = NULL;
4625           DEBUG(D_expand) debug_printf("prvscheck: hash failure, $pvrs_result unset\n");
4626           }
4627
4628         /* Now expand the final argument. We leave this till now so that
4629         it can include $prvscheck_result. */
4630
4631         switch(read_subs(sub_arg, 1, 0, &s, skipping, TRUE, US"prvs", &resetok))
4632           {
4633           case 1: goto EXPAND_FAILED_CURLY;
4634           case 2:
4635           case 3: goto EXPAND_FAILED;
4636           }
4637
4638         yield = string_cat(yield, &size, &ptr,
4639           !sub_arg[0] || !*sub_arg[0] ? prvscheck_address : sub_arg[0]);
4640
4641         /* Reset the "internal" variables afterwards, because they are in
4642         dynamic store that will be reclaimed if the expansion succeeded. */
4643
4644         prvscheck_address = NULL;
4645         prvscheck_keynum = NULL;
4646         }
4647       else
4648         {
4649         /* Does not look like a prvs encoded address, return the empty string.
4650            We need to make sure all subs are expanded first, so as to skip over
4651            the entire item. */
4652
4653         switch(read_subs(sub_arg, 2, 1, &s, skipping, TRUE, US"prvs", &resetok))
4654           {
4655           case 1: goto EXPAND_FAILED_CURLY;
4656           case 2:
4657           case 3: goto EXPAND_FAILED;
4658           }
4659         }
4660
4661       continue;
4662       }
4663
4664     /* Handle "readfile" to insert an entire file */
4665
4666     case EITEM_READFILE:
4667       {
4668       FILE *f;
4669       uschar *sub_arg[2];
4670
4671       if ((expand_forbid & RDO_READFILE) != 0)
4672         {
4673         expand_string_message = US"file insertions are not permitted";
4674         goto EXPAND_FAILED;
4675         }
4676
4677       switch(read_subs(sub_arg, 2, 1, &s, skipping, TRUE, US"readfile", &resetok))
4678         {
4679         case 1: goto EXPAND_FAILED_CURLY;
4680         case 2:
4681         case 3: goto EXPAND_FAILED;
4682         }
4683
4684       /* If skipping, we don't actually do anything */
4685
4686       if (skipping) continue;
4687
4688       /* Open the file and read it */
4689
4690       f = Ufopen(sub_arg[0], "rb");
4691       if (f == NULL)
4692         {
4693         expand_string_message = string_open_failed(errno, "%s", sub_arg[0]);
4694         goto EXPAND_FAILED;
4695         }
4696
4697       yield = cat_file(f, yield, &size, &ptr, sub_arg[1]);
4698       (void)fclose(f);
4699       continue;
4700       }
4701
4702     /* Handle "readsocket" to insert data from a Unix domain socket */
4703
4704     case EITEM_READSOCK:
4705       {
4706       int fd;
4707       int timeout = 5;
4708       int save_ptr = ptr;
4709       FILE *f;
4710       struct sockaddr_un sockun;         /* don't call this "sun" ! */
4711       uschar *arg;
4712       uschar *sub_arg[4];
4713
4714       if ((expand_forbid & RDO_READSOCK) != 0)
4715         {
4716         expand_string_message = US"socket insertions are not permitted";
4717         goto EXPAND_FAILED;
4718         }
4719
4720       /* Read up to 4 arguments, but don't do the end of item check afterwards,
4721       because there may be a string for expansion on failure. */
4722
4723       switch(read_subs(sub_arg, 4, 2, &s, skipping, FALSE, US"readsocket", &resetok))
4724         {
4725         case 1: goto EXPAND_FAILED_CURLY;
4726         case 2:                             /* Won't occur: no end check */
4727         case 3: goto EXPAND_FAILED;
4728         }
4729
4730       /* Sort out timeout, if given */
4731
4732       if (sub_arg[2] != NULL)
4733         {
4734         timeout = readconf_readtime(sub_arg[2], 0, FALSE);
4735         if (timeout < 0)
4736           {
4737           expand_string_message = string_sprintf("bad time value %s",
4738             sub_arg[2]);
4739           goto EXPAND_FAILED;
4740           }
4741         }
4742       else sub_arg[3] = NULL;                     /* No eol if no timeout */
4743
4744       /* If skipping, we don't actually do anything. Otherwise, arrange to
4745       connect to either an IP or a Unix socket. */
4746
4747       if (!skipping)
4748         {
4749         /* Handle an IP (internet) domain */
4750
4751         if (Ustrncmp(sub_arg[0], "inet:", 5) == 0)
4752           {
4753           int port;
4754           uschar *server_name = sub_arg[0] + 5;
4755           uschar *port_name = Ustrrchr(server_name, ':');
4756
4757           /* Sort out the port */
4758
4759           if (port_name == NULL)
4760             {
4761             expand_string_message =
4762               string_sprintf("missing port for readsocket %s", sub_arg[0]);
4763             goto EXPAND_FAILED;
4764             }
4765           *port_name++ = 0;           /* Terminate server name */
4766
4767           if (isdigit(*port_name))
4768             {
4769             uschar *end;
4770             port = Ustrtol(port_name, &end, 0);
4771             if (end != port_name + Ustrlen(port_name))
4772               {
4773               expand_string_message =
4774                 string_sprintf("invalid port number %s", port_name);
4775               goto EXPAND_FAILED;
4776               }
4777             }
4778           else
4779             {
4780             struct servent *service_info = getservbyname(CS port_name, "tcp");
4781             if (service_info == NULL)
4782               {
4783               expand_string_message = string_sprintf("unknown port \"%s\"",
4784                 port_name);
4785               goto EXPAND_FAILED;
4786               }
4787             port = ntohs(service_info->s_port);
4788             }
4789
4790           if ((fd = ip_connectedsocket(SOCK_STREAM, server_name, port, port,
4791                   timeout, NULL, &expand_string_message)) < 0)
4792               goto SOCK_FAIL;
4793           }
4794
4795         /* Handle a Unix domain socket */
4796
4797         else
4798           {
4799           int rc;
4800           if ((fd = socket(PF_UNIX, SOCK_STREAM, 0)) == -1)
4801             {
4802             expand_string_message = string_sprintf("failed to create socket: %s",
4803               strerror(errno));
4804             goto SOCK_FAIL;
4805             }
4806
4807           sockun.sun_family = AF_UNIX;
4808           sprintf(sockun.sun_path, "%.*s", (int)(sizeof(sockun.sun_path)-1),
4809             sub_arg[0]);
4810
4811           sigalrm_seen = FALSE;
4812           alarm(timeout);
4813           rc = connect(fd, (struct sockaddr *)(&sockun), sizeof(sockun));
4814           alarm(0);
4815           if (sigalrm_seen)
4816             {
4817             expand_string_message = US "socket connect timed out";
4818             goto SOCK_FAIL;
4819             }
4820           if (rc < 0)
4821             {
4822             expand_string_message = string_sprintf("failed to connect to socket "
4823               "%s: %s", sub_arg[0], strerror(errno));
4824             goto SOCK_FAIL;
4825             }
4826           }
4827
4828         DEBUG(D_expand) debug_printf("connected to socket %s\n", sub_arg[0]);
4829
4830         /* Allow sequencing of test actions */
4831         if (running_in_test_harness) millisleep(100);
4832
4833         /* Write the request string, if not empty */
4834
4835         if (sub_arg[1][0] != 0)
4836           {
4837           int len = Ustrlen(sub_arg[1]);
4838           DEBUG(D_expand) debug_printf("writing \"%s\" to socket\n",
4839             sub_arg[1]);
4840           if (write(fd, sub_arg[1], len) != len)
4841             {
4842             expand_string_message = string_sprintf("request write to socket "
4843               "failed: %s", strerror(errno));
4844             goto SOCK_FAIL;
4845             }
4846           }
4847
4848         /* Shut down the sending side of the socket. This helps some servers to
4849         recognise that it is their turn to do some work. Just in case some
4850         system doesn't have this function, make it conditional. */
4851
4852         #ifdef SHUT_WR
4853         shutdown(fd, SHUT_WR);
4854         #endif
4855
4856         if (running_in_test_harness) millisleep(100);
4857
4858         /* Now we need to read from the socket, under a timeout. The function
4859         that reads a file can be used. */
4860
4861         f = fdopen(fd, "rb");
4862         sigalrm_seen = FALSE;
4863         alarm(timeout);
4864         yield = cat_file(f, yield, &size, &ptr, sub_arg[3]);
4865         alarm(0);
4866         (void)fclose(f);
4867
4868         /* After a timeout, we restore the pointer in the result, that is,
4869         make sure we add nothing from the socket. */
4870
4871         if (sigalrm_seen)
4872           {
4873           ptr = save_ptr;
4874           expand_string_message = US "socket read timed out";
4875           goto SOCK_FAIL;
4876           }
4877         }
4878
4879       /* The whole thing has worked (or we were skipping). If there is a
4880       failure string following, we need to skip it. */
4881
4882       if (*s == '{')
4883         {
4884         if (expand_string_internal(s+1, TRUE, &s, TRUE, TRUE, &resetok) == NULL)
4885           goto EXPAND_FAILED;
4886         if (*s++ != '}')
4887           {
4888           expand_string_message = US"missing '}' closing failstring for readsocket";
4889           goto EXPAND_FAILED_CURLY;
4890           }
4891         while (isspace(*s)) s++;
4892         }
4893
4894     readsock_done:
4895       if (*s++ != '}')
4896         {
4897         expand_string_message = US"missing '}' closing readsocket";
4898         goto EXPAND_FAILED_CURLY;
4899         }
4900       continue;
4901
4902       /* Come here on failure to create socket, connect socket, write to the
4903       socket, or timeout on reading. If another substring follows, expand and
4904       use it. Otherwise, those conditions give expand errors. */
4905
4906       SOCK_FAIL:
4907       if (*s != '{') goto EXPAND_FAILED;
4908       DEBUG(D_any) debug_printf("%s\n", expand_string_message);
4909       if (!(arg = expand_string_internal(s+1, TRUE, &s, FALSE, TRUE, &resetok)))
4910         goto EXPAND_FAILED;
4911       yield = string_cat(yield, &size, &ptr, arg);
4912       if (*s++ != '}')
4913         {
4914         expand_string_message = US"missing '}' closing failstring for readsocket";
4915         goto EXPAND_FAILED_CURLY;
4916         }
4917       while (isspace(*s)) s++;
4918       goto readsock_done;
4919       }
4920
4921     /* Handle "run" to execute a program. */
4922
4923     case EITEM_RUN:
4924       {
4925       FILE *f;
4926       uschar *arg;
4927       const uschar **argv;
4928       pid_t pid;
4929       int fd_in, fd_out;
4930       int lsize = 0, lptr = 0;
4931
4932       if ((expand_forbid & RDO_RUN) != 0)
4933         {
4934         expand_string_message = US"running a command is not permitted";
4935         goto EXPAND_FAILED;
4936         }
4937
4938       while (isspace(*s)) s++;
4939       if (*s != '{')
4940         {
4941         expand_string_message = US"missing '{' for command arg of run";
4942         goto EXPAND_FAILED_CURLY;
4943         }
4944       arg = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
4945       if (arg == NULL) goto EXPAND_FAILED;
4946       while (isspace(*s)) s++;
4947       if (*s++ != '}')
4948         {
4949         expand_string_message = US"missing '}' closing command arg of run";
4950         goto EXPAND_FAILED_CURLY;
4951         }
4952
4953       if (skipping)   /* Just pretend it worked when we're skipping */
4954         runrc = 0;
4955       else
4956         {
4957         if (!transport_set_up_command(&argv,    /* anchor for arg list */
4958             arg,                                /* raw command */
4959             FALSE,                              /* don't expand the arguments */
4960             0,                                  /* not relevant when... */
4961             NULL,                               /* no transporting address */
4962             US"${run} expansion",               /* for error messages */
4963             &expand_string_message))            /* where to put error message */
4964           goto EXPAND_FAILED;
4965
4966         /* Create the child process, making it a group leader. */
4967
4968         if ((pid = child_open(USS argv, NULL, 0077, &fd_in, &fd_out, TRUE)) < 0)
4969           {
4970           expand_string_message =
4971             string_sprintf("couldn't create child process: %s", strerror(errno));
4972           goto EXPAND_FAILED;
4973           }
4974
4975         /* Nothing is written to the standard input. */
4976
4977         (void)close(fd_in);
4978
4979         /* Read the pipe to get the command's output into $value (which is kept
4980         in lookup_value). Read during execution, so that if the output exceeds
4981         the OS pipe buffer limit, we don't block forever. Remember to not release
4982         memory just allocated for $value. */
4983
4984         resetok = FALSE;
4985         f = fdopen(fd_out, "rb");
4986         sigalrm_seen = FALSE;
4987         alarm(60);
4988         lookup_value = cat_file(f, NULL, &lsize, &lptr, NULL);
4989         alarm(0);
4990         (void)fclose(f);
4991
4992         /* Wait for the process to finish, applying the timeout, and inspect its
4993         return code for serious disasters. Simple non-zero returns are passed on.
4994         */
4995
4996         if (sigalrm_seen == TRUE || (runrc = child_close(pid, 30)) < 0)
4997           {
4998           if (sigalrm_seen == TRUE || runrc == -256)
4999             {
5000             expand_string_message = string_sprintf("command timed out");
5001             killpg(pid, SIGKILL);       /* Kill the whole process group */
5002             }
5003
5004           else if (runrc == -257)
5005             expand_string_message = string_sprintf("wait() failed: %s",
5006               strerror(errno));
5007
5008           else
5009             expand_string_message = string_sprintf("command killed by signal %d",
5010               -runrc);
5011
5012           goto EXPAND_FAILED;
5013           }
5014         }
5015
5016       /* Process the yes/no strings; $value may be useful in both cases */
5017
5018       switch(process_yesno(
5019                skipping,                     /* were previously skipping */
5020                runrc == 0,                   /* success/failure indicator */
5021                lookup_value,                 /* value to reset for string2 */
5022                &s,                           /* input pointer */
5023                &yield,                       /* output pointer */
5024                &size,                        /* output size */
5025                &ptr,                         /* output current point */
5026                US"run",                      /* condition type */
5027                &resetok))
5028         {
5029         case 1: goto EXPAND_FAILED;          /* when all is well, the */
5030         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
5031         }
5032
5033       continue;
5034       }
5035
5036     /* Handle character translation for "tr" */
5037
5038     case EITEM_TR:
5039       {
5040       int oldptr = ptr;
5041       int o2m;
5042       uschar *sub[3];
5043
5044       switch(read_subs(sub, 3, 3, &s, skipping, TRUE, US"tr", &resetok))
5045         {
5046         case 1: goto EXPAND_FAILED_CURLY;
5047         case 2:
5048         case 3: goto EXPAND_FAILED;
5049         }
5050
5051       yield = string_cat(yield, &size, &ptr, sub[0]);
5052       o2m = Ustrlen(sub[2]) - 1;
5053
5054       if (o2m >= 0) for (; oldptr < ptr; oldptr++)
5055         {
5056         uschar *m = Ustrrchr(sub[1], yield[oldptr]);
5057         if (m != NULL)
5058           {
5059           int o = m - sub[1];
5060           yield[oldptr] = sub[2][(o < o2m)? o : o2m];
5061           }
5062         }
5063
5064       continue;
5065       }
5066
5067     /* Handle "hash", "length", "nhash", and "substr" when they are given with
5068     expanded arguments. */
5069
5070     case EITEM_HASH:
5071     case EITEM_LENGTH:
5072     case EITEM_NHASH:
5073     case EITEM_SUBSTR:
5074       {
5075       int i;
5076       int len;
5077       uschar *ret;
5078       int val[2] = { 0, -1 };
5079       uschar *sub[3];
5080
5081       /* "length" takes only 2 arguments whereas the others take 2 or 3.
5082       Ensure that sub[2] is set in the ${length } case. */
5083
5084       sub[2] = NULL;
5085       switch(read_subs(sub, (item_type == EITEM_LENGTH)? 2:3, 2, &s, skipping,
5086              TRUE, name, &resetok))
5087         {
5088         case 1: goto EXPAND_FAILED_CURLY;
5089         case 2:
5090         case 3: goto EXPAND_FAILED;
5091         }
5092
5093       /* Juggle the arguments if there are only two of them: always move the
5094       string to the last position and make ${length{n}{str}} equivalent to
5095       ${substr{0}{n}{str}}. See the defaults for val[] above. */
5096
5097       if (sub[2] == NULL)
5098         {
5099         sub[2] = sub[1];
5100         sub[1] = NULL;
5101         if (item_type == EITEM_LENGTH)
5102           {
5103           sub[1] = sub[0];
5104           sub[0] = NULL;
5105           }
5106         }
5107
5108       for (i = 0; i < 2; i++)
5109         {
5110         if (sub[i] == NULL) continue;
5111         val[i] = (int)Ustrtol(sub[i], &ret, 10);
5112         if (*ret != 0 || (i != 0 && val[i] < 0))
5113           {
5114           expand_string_message = string_sprintf("\"%s\" is not a%s number "
5115             "(in \"%s\" expansion)", sub[i], (i != 0)? " positive" : "", name);
5116           goto EXPAND_FAILED;
5117           }
5118         }
5119
5120       ret =
5121         (item_type == EITEM_HASH)?
5122           compute_hash(sub[2], val[0], val[1], &len) :
5123         (item_type == EITEM_NHASH)?
5124           compute_nhash(sub[2], val[0], val[1], &len) :
5125           extract_substr(sub[2], val[0], val[1], &len);
5126
5127       if (ret == NULL) goto EXPAND_FAILED;
5128       yield = string_catn(yield, &size, &ptr, ret, len);
5129       continue;
5130       }
5131
5132     /* Handle HMAC computation: ${hmac{<algorithm>}{<secret>}{<text>}}
5133     This code originally contributed by Steve Haslam. It currently supports
5134     the use of MD5 and SHA-1 hashes.
5135
5136     We need some workspace that is large enough to handle all the supported
5137     hash types. Use macros to set the sizes rather than be too elaborate. */
5138
5139     #define MAX_HASHLEN      20
5140     #define MAX_HASHBLOCKLEN 64
5141
5142     case EITEM_HMAC:
5143       {
5144       uschar *sub[3];
5145       md5 md5_base;
5146       hctx sha1_ctx;
5147       void *use_base;
5148       int type, i;
5149       int hashlen;      /* Number of octets for the hash algorithm's output */
5150       int hashblocklen; /* Number of octets the hash algorithm processes */
5151       uschar *keyptr, *p;
5152       unsigned int keylen;
5153
5154       uschar keyhash[MAX_HASHLEN];
5155       uschar innerhash[MAX_HASHLEN];
5156       uschar finalhash[MAX_HASHLEN];
5157       uschar finalhash_hex[2*MAX_HASHLEN];
5158       uschar innerkey[MAX_HASHBLOCKLEN];
5159       uschar outerkey[MAX_HASHBLOCKLEN];
5160
5161       switch (read_subs(sub, 3, 3, &s, skipping, TRUE, name, &resetok))
5162         {
5163         case 1: goto EXPAND_FAILED_CURLY;
5164         case 2:
5165         case 3: goto EXPAND_FAILED;
5166         }
5167
5168       if (Ustrcmp(sub[0], "md5") == 0)
5169         {
5170         type = HMAC_MD5;
5171         use_base = &md5_base;
5172         hashlen = 16;
5173         hashblocklen = 64;
5174         }
5175       else if (Ustrcmp(sub[0], "sha1") == 0)
5176         {
5177         type = HMAC_SHA1;
5178         use_base = &sha1_ctx;
5179         hashlen = 20;
5180         hashblocklen = 64;
5181         }
5182       else
5183         {
5184         expand_string_message =
5185           string_sprintf("hmac algorithm \"%s\" is not recognised", sub[0]);
5186         goto EXPAND_FAILED;
5187         }
5188
5189       keyptr = sub[1];
5190       keylen = Ustrlen(keyptr);
5191
5192       /* If the key is longer than the hash block length, then hash the key
5193       first */
5194
5195       if (keylen > hashblocklen)
5196         {
5197         chash_start(type, use_base);
5198         chash_end(type, use_base, keyptr, keylen, keyhash);
5199         keyptr = keyhash;
5200         keylen = hashlen;
5201         }
5202
5203       /* Now make the inner and outer key values */
5204
5205       memset(innerkey, 0x36, hashblocklen);
5206       memset(outerkey, 0x5c, hashblocklen);
5207
5208       for (i = 0; i < keylen; i++)
5209         {
5210         innerkey[i] ^= keyptr[i];
5211         outerkey[i] ^= keyptr[i];
5212         }
5213
5214       /* Now do the hashes */
5215
5216       chash_start(type, use_base);
5217       chash_mid(type, use_base, innerkey);
5218       chash_end(type, use_base, sub[2], Ustrlen(sub[2]), innerhash);
5219
5220       chash_start(type, use_base);
5221       chash_mid(type, use_base, outerkey);
5222       chash_end(type, use_base, innerhash, hashlen, finalhash);
5223
5224       /* Encode the final hash as a hex string */
5225
5226       p = finalhash_hex;
5227       for (i = 0; i < hashlen; i++)
5228         {
5229         *p++ = hex_digits[(finalhash[i] & 0xf0) >> 4];
5230         *p++ = hex_digits[finalhash[i] & 0x0f];
5231         }
5232
5233       DEBUG(D_any) debug_printf("HMAC[%s](%.*s,%.*s)=%.*s\n", sub[0],
5234         (int)keylen, keyptr, Ustrlen(sub[2]), sub[2], hashlen*2, finalhash_hex);
5235
5236       yield = string_catn(yield, &size, &ptr, finalhash_hex, hashlen*2);
5237       }
5238
5239     continue;
5240
5241     /* Handle global substitution for "sg" - like Perl's s/xxx/yyy/g operator.
5242     We have to save the numerical variables and restore them afterwards. */
5243
5244     case EITEM_SG:
5245       {
5246       const pcre *re;
5247       int moffset, moffsetextra, slen;
5248       int roffset;
5249       int emptyopt;
5250       const uschar *rerror;
5251       uschar *subject;
5252       uschar *sub[3];
5253       int save_expand_nmax =
5254         save_expand_strings(save_expand_nstring, save_expand_nlength);
5255
5256       switch(read_subs(sub, 3, 3, &s, skipping, TRUE, US"sg", &resetok))
5257         {
5258         case 1: goto EXPAND_FAILED_CURLY;
5259         case 2:
5260         case 3: goto EXPAND_FAILED;
5261         }
5262
5263       /* Compile the regular expression */
5264
5265       re = pcre_compile(CS sub[1], PCRE_COPT, (const char **)&rerror, &roffset,
5266         NULL);
5267
5268       if (re == NULL)
5269         {
5270         expand_string_message = string_sprintf("regular expression error in "
5271           "\"%s\": %s at offset %d", sub[1], rerror, roffset);
5272         goto EXPAND_FAILED;
5273         }
5274
5275       /* Now run a loop to do the substitutions as often as necessary. It ends
5276       when there are no more matches. Take care over matches of the null string;
5277       do the same thing as Perl does. */
5278
5279       subject = sub[0];
5280       slen = Ustrlen(sub[0]);
5281       moffset = moffsetextra = 0;
5282       emptyopt = 0;
5283
5284       for (;;)
5285         {
5286         int ovector[3*(EXPAND_MAXN+1)];
5287         int n = pcre_exec(re, NULL, CS subject, slen, moffset + moffsetextra,
5288           PCRE_EOPT | emptyopt, ovector, nelem(ovector));
5289         int nn;
5290         uschar *insert;
5291
5292         /* No match - if we previously set PCRE_NOTEMPTY after a null match, this
5293         is not necessarily the end. We want to repeat the match from one
5294         character further along, but leaving the basic offset the same (for
5295         copying below). We can't be at the end of the string - that was checked
5296         before setting PCRE_NOTEMPTY. If PCRE_NOTEMPTY is not set, we are
5297         finished; copy the remaining string and end the loop. */
5298
5299         if (n < 0)
5300           {
5301           if (emptyopt != 0)
5302             {
5303             moffsetextra = 1;
5304             emptyopt = 0;
5305             continue;
5306             }
5307           yield = string_catn(yield, &size, &ptr, subject+moffset, slen-moffset);
5308           break;
5309           }
5310
5311         /* Match - set up for expanding the replacement. */
5312
5313         if (n == 0) n = EXPAND_MAXN + 1;
5314         expand_nmax = 0;
5315         for (nn = 0; nn < n*2; nn += 2)
5316           {
5317           expand_nstring[expand_nmax] = subject + ovector[nn];
5318           expand_nlength[expand_nmax++] = ovector[nn+1] - ovector[nn];
5319           }
5320         expand_nmax--;
5321
5322         /* Copy the characters before the match, plus the expanded insertion. */
5323
5324         yield = string_catn(yield, &size, &ptr, subject + moffset,
5325           ovector[0] - moffset);
5326         insert = expand_string(sub[2]);
5327         if (insert == NULL) goto EXPAND_FAILED;
5328         yield = string_cat(yield, &size, &ptr, insert);
5329
5330         moffset = ovector[1];
5331         moffsetextra = 0;
5332         emptyopt = 0;
5333
5334         /* If we have matched an empty string, first check to see if we are at
5335         the end of the subject. If so, the loop is over. Otherwise, mimic
5336         what Perl's /g options does. This turns out to be rather cunning. First
5337         we set PCRE_NOTEMPTY and PCRE_ANCHORED and try the match a non-empty
5338         string at the same point. If this fails (picked up above) we advance to
5339         the next character. */
5340
5341         if (ovector[0] == ovector[1])
5342           {
5343           if (ovector[0] == slen) break;
5344           emptyopt = PCRE_NOTEMPTY | PCRE_ANCHORED;
5345           }
5346         }
5347
5348       /* All done - restore numerical variables. */
5349
5350       restore_expand_strings(save_expand_nmax, save_expand_nstring,
5351         save_expand_nlength);
5352       continue;
5353       }
5354
5355     /* Handle keyed and numbered substring extraction. If the first argument
5356     consists entirely of digits, then a numerical extraction is assumed. */
5357
5358     case EITEM_EXTRACT:
5359       {
5360       int i;
5361       int j;
5362       int field_number = 1;
5363       BOOL field_number_set = FALSE;
5364       uschar *save_lookup_value = lookup_value;
5365       uschar *sub[3];
5366       int save_expand_nmax =
5367         save_expand_strings(save_expand_nstring, save_expand_nlength);
5368
5369       /* While skipping we cannot rely on the data for expansions being
5370       available (eg. $item) hence cannot decide on numeric vs. keyed.
5371       Read a maximum of 5 arguments (inclding the yes/no) */
5372
5373       if (skipping)
5374         {
5375         while (isspace(*s)) s++;
5376         for (j = 5; j > 0 && *s == '{'; j--)
5377           {
5378           if (!expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok))
5379             goto EXPAND_FAILED;                                 /*{*/
5380           if (*s++ != '}')
5381             {
5382             expand_string_message = US"missing '{' for arg of extract";
5383             goto EXPAND_FAILED_CURLY;
5384             }
5385           while (isspace(*s)) s++;
5386           }
5387         if (  Ustrncmp(s, "fail", 4) == 0
5388            && (s[4] == '}' || s[4] == ' ' || s[4] == '\t' || !s[4])
5389            )
5390           {
5391           s += 4;
5392           while (isspace(*s)) s++;
5393           }
5394         if (*s != '}')
5395           {
5396           expand_string_message = US"missing '}' closing extract";
5397           goto EXPAND_FAILED_CURLY;
5398           }
5399         }
5400
5401       else for (i = 0, j = 2; i < j; i++) /* Read the proper number of arguments */
5402         {
5403         while (isspace(*s)) s++;
5404         if (*s == '{')                                          /*}*/
5405           {
5406           sub[i] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
5407           if (sub[i] == NULL) goto EXPAND_FAILED;               /*{*/
5408           if (*s++ != '}')
5409             {
5410             expand_string_message = string_sprintf(
5411               "missing '}' closing arg %d of extract", i+1);
5412             goto EXPAND_FAILED_CURLY;
5413             }
5414
5415           /* After removal of leading and trailing white space, the first
5416           argument must not be empty; if it consists entirely of digits
5417           (optionally preceded by a minus sign), this is a numerical
5418           extraction, and we expect 3 arguments. */
5419
5420           if (i == 0)
5421             {
5422             int len;
5423             int x = 0;
5424             uschar *p = sub[0];
5425
5426             while (isspace(*p)) p++;
5427             sub[0] = p;
5428
5429             len = Ustrlen(p);
5430             while (len > 0 && isspace(p[len-1])) len--;
5431             p[len] = 0;
5432
5433             if (*p == 0)
5434               {
5435               expand_string_message = US"first argument of \"extract\" must "
5436                 "not be empty";
5437               goto EXPAND_FAILED;
5438               }
5439
5440             if (*p == '-')
5441               {
5442               field_number = -1;
5443               p++;
5444               }
5445             while (*p != 0 && isdigit(*p)) x = x * 10 + *p++ - '0';
5446             if (*p == 0)
5447               {
5448               field_number *= x;
5449               j = 3;               /* Need 3 args */
5450               field_number_set = TRUE;
5451               }
5452             }
5453           }
5454         else
5455           {
5456           expand_string_message = string_sprintf(
5457             "missing '{' for arg %d of extract", i+1);
5458           goto EXPAND_FAILED_CURLY;
5459           }
5460         }
5461
5462       /* Extract either the numbered or the keyed substring into $value. If
5463       skipping, just pretend the extraction failed. */
5464
5465       lookup_value = skipping? NULL : field_number_set?
5466         expand_gettokened(field_number, sub[1], sub[2]) :
5467         expand_getkeyed(sub[0], sub[1]);
5468
5469       /* If no string follows, $value gets substituted; otherwise there can
5470       be yes/no strings, as for lookup or if. */
5471
5472       switch(process_yesno(
5473                skipping,                     /* were previously skipping */
5474                lookup_value != NULL,         /* success/failure indicator */
5475                save_lookup_value,            /* value to reset for string2 */
5476                &s,                           /* input pointer */
5477                &yield,                       /* output pointer */
5478                &size,                        /* output size */
5479                &ptr,                         /* output current point */
5480                US"extract",                  /* condition type */
5481                &resetok))
5482         {
5483         case 1: goto EXPAND_FAILED;          /* when all is well, the */
5484         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
5485         }
5486
5487       /* All done - restore numerical variables. */
5488
5489       restore_expand_strings(save_expand_nmax, save_expand_nstring,
5490         save_expand_nlength);
5491
5492       continue;
5493       }
5494
5495     /* return the Nth item from a list */
5496
5497     case EITEM_LISTEXTRACT:
5498       {
5499       int i;
5500       int field_number = 1;
5501       uschar *save_lookup_value = lookup_value;
5502       uschar *sub[2];
5503       int save_expand_nmax =
5504         save_expand_strings(save_expand_nstring, save_expand_nlength);
5505
5506       /* Read the field & list arguments */
5507
5508       for (i = 0; i < 2; i++)
5509         {
5510         while (isspace(*s)) s++;
5511         if (*s != '{')                                  /*}*/
5512           {
5513           expand_string_message = string_sprintf(
5514             "missing '{' for arg %d of listextract", i+1);
5515           goto EXPAND_FAILED_CURLY;
5516           }
5517
5518         sub[i] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
5519         if (!sub[i])     goto EXPAND_FAILED;            /*{*/
5520         if (*s++ != '}')
5521           {
5522           expand_string_message = string_sprintf(
5523             "missing '}' closing arg %d of listextract", i+1);
5524           goto EXPAND_FAILED_CURLY;
5525           }
5526
5527         /* After removal of leading and trailing white space, the first
5528         argument must be numeric and nonempty. */
5529
5530         if (i == 0)
5531           {
5532           int len;
5533           int x = 0;
5534           uschar *p = sub[0];
5535
5536           while (isspace(*p)) p++;
5537           sub[0] = p;
5538
5539           len = Ustrlen(p);
5540           while (len > 0 && isspace(p[len-1])) len--;
5541           p[len] = 0;
5542
5543           if (!*p && !skipping)
5544             {
5545             expand_string_message = US"first argument of \"listextract\" must "
5546               "not be empty";
5547             goto EXPAND_FAILED;
5548             }
5549
5550           if (*p == '-')
5551             {
5552             field_number = -1;
5553             p++;
5554             }
5555           while (*p && isdigit(*p)) x = x * 10 + *p++ - '0';
5556           if (*p)
5557             {
5558             expand_string_message = US"first argument of \"listextract\" must "
5559               "be numeric";
5560             goto EXPAND_FAILED;
5561             }
5562           field_number *= x;
5563           }
5564         }
5565
5566       /* Extract the numbered element into $value. If
5567       skipping, just pretend the extraction failed. */
5568
5569       lookup_value = skipping? NULL : expand_getlistele(field_number, sub[1]);
5570
5571       /* If no string follows, $value gets substituted; otherwise there can
5572       be yes/no strings, as for lookup or if. */
5573
5574       switch(process_yesno(
5575                skipping,                     /* were previously skipping */
5576                lookup_value != NULL,         /* success/failure indicator */
5577                save_lookup_value,            /* value to reset for string2 */
5578                &s,                           /* input pointer */
5579                &yield,                       /* output pointer */
5580                &size,                        /* output size */
5581                &ptr,                         /* output current point */
5582                US"listextract",              /* condition type */
5583                &resetok))
5584         {
5585         case 1: goto EXPAND_FAILED;          /* when all is well, the */
5586         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
5587         }
5588
5589       /* All done - restore numerical variables. */
5590
5591       restore_expand_strings(save_expand_nmax, save_expand_nstring,
5592         save_expand_nlength);
5593
5594       continue;
5595       }
5596
5597 #ifdef SUPPORT_TLS
5598     case EITEM_CERTEXTRACT:
5599       {
5600       uschar *save_lookup_value = lookup_value;
5601       uschar *sub[2];
5602       int save_expand_nmax =
5603         save_expand_strings(save_expand_nstring, save_expand_nlength);
5604
5605       /* Read the field argument */
5606       while (isspace(*s)) s++;
5607       if (*s != '{')                                    /*}*/
5608         {
5609         expand_string_message = US"missing '{' for field arg of certextract";
5610         goto EXPAND_FAILED_CURLY;
5611         }
5612       sub[0] = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
5613       if (!sub[0])     goto EXPAND_FAILED;              /*{*/
5614       if (*s++ != '}')
5615         {
5616         expand_string_message = US"missing '}' closing field arg of certextract";
5617         goto EXPAND_FAILED_CURLY;
5618         }
5619       /* strip spaces fore & aft */
5620       {
5621       int len;
5622       uschar *p = sub[0];
5623
5624       while (isspace(*p)) p++;
5625       sub[0] = p;
5626
5627       len = Ustrlen(p);
5628       while (len > 0 && isspace(p[len-1])) len--;
5629       p[len] = 0;
5630       }
5631
5632       /* inspect the cert argument */
5633       while (isspace(*s)) s++;
5634       if (*s != '{')                                    /*}*/
5635         {
5636         expand_string_message = US"missing '{' for cert variable arg of certextract";
5637         goto EXPAND_FAILED_CURLY;
5638         }
5639       if (*++s != '$')
5640         {
5641         expand_string_message = US"second argument of \"certextract\" must "
5642           "be a certificate variable";
5643         goto EXPAND_FAILED;
5644         }
5645       sub[1] = expand_string_internal(s+1, TRUE, &s, skipping, FALSE, &resetok);
5646       if (!sub[1])     goto EXPAND_FAILED;              /*{*/
5647       if (*s++ != '}')
5648         {
5649         expand_string_message = US"missing '}' closing cert variable arg of certextract";
5650         goto EXPAND_FAILED_CURLY;
5651         }
5652
5653       if (skipping)
5654         lookup_value = NULL;
5655       else
5656         {
5657         lookup_value = expand_getcertele(sub[0], sub[1]);
5658         if (*expand_string_message) goto EXPAND_FAILED;
5659         }
5660       switch(process_yesno(
5661                skipping,                     /* were previously skipping */
5662                lookup_value != NULL,         /* success/failure indicator */
5663                save_lookup_value,            /* value to reset for string2 */
5664                &s,                           /* input pointer */
5665                &yield,                       /* output pointer */
5666                &size,                        /* output size */
5667                &ptr,                         /* output current point */
5668                US"certextract",              /* condition type */
5669                &resetok))
5670         {
5671         case 1: goto EXPAND_FAILED;          /* when all is well, the */
5672         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
5673         }
5674
5675       restore_expand_strings(save_expand_nmax, save_expand_nstring,
5676         save_expand_nlength);
5677       continue;
5678       }
5679 #endif  /*SUPPORT_TLS*/
5680
5681     /* Handle list operations */
5682
5683     case EITEM_FILTER:
5684     case EITEM_MAP:
5685     case EITEM_REDUCE:
5686       {
5687       int sep = 0;
5688       int save_ptr = ptr;
5689       uschar outsep[2] = { '\0', '\0' };
5690       const uschar *list, *expr, *temp;
5691       uschar *save_iterate_item = iterate_item;
5692       uschar *save_lookup_value = lookup_value;
5693
5694       while (isspace(*s)) s++;
5695       if (*s++ != '{')
5696         {
5697         expand_string_message =
5698           string_sprintf("missing '{' for first arg of %s", name);
5699         goto EXPAND_FAILED_CURLY;
5700         }
5701
5702       list = expand_string_internal(s, TRUE, &s, skipping, TRUE, &resetok);
5703       if (list == NULL) goto EXPAND_FAILED;
5704       if (*s++ != '}')
5705         {
5706         expand_string_message =
5707           string_sprintf("missing '}' closing first arg of %s", name);
5708         goto EXPAND_FAILED_CURLY;
5709         }
5710
5711       if (item_type == EITEM_REDUCE)
5712         {
5713         uschar * t;
5714         while (isspace(*s)) s++;
5715         if (*s++ != '{')
5716           {
5717           expand_string_message = US"missing '{' for second arg of reduce";
5718           goto EXPAND_FAILED_CURLY;
5719           }
5720         t = expand_string_internal(s, TRUE, &s, skipping, TRUE, &resetok);
5721         if (!t) goto EXPAND_FAILED;
5722         lookup_value = t;
5723         if (*s++ != '}')
5724           {
5725           expand_string_message = US"missing '}' closing second arg of reduce";
5726           goto EXPAND_FAILED_CURLY;
5727           }
5728         }
5729
5730       while (isspace(*s)) s++;
5731       if (*s++ != '{')
5732         {
5733         expand_string_message =
5734           string_sprintf("missing '{' for last arg of %s", name);
5735         goto EXPAND_FAILED_CURLY;
5736         }
5737
5738       expr = s;
5739
5740       /* For EITEM_FILTER, call eval_condition once, with result discarded (as
5741       if scanning a "false" part). This allows us to find the end of the
5742       condition, because if the list is empty, we won't actually evaluate the
5743       condition for real. For EITEM_MAP and EITEM_REDUCE, do the same, using
5744       the normal internal expansion function. */
5745
5746       if (item_type == EITEM_FILTER)
5747         {
5748         temp = eval_condition(expr, &resetok, NULL);
5749         if (temp != NULL) s = temp;
5750         }
5751       else
5752         temp = expand_string_internal(s, TRUE, &s, TRUE, TRUE, &resetok);
5753
5754       if (temp == NULL)
5755         {
5756         expand_string_message = string_sprintf("%s inside \"%s\" item",
5757           expand_string_message, name);
5758         goto EXPAND_FAILED;
5759         }
5760
5761       while (isspace(*s)) s++;
5762       if (*s++ != '}')
5763         {                                               /*{*/
5764         expand_string_message = string_sprintf("missing } at end of condition "
5765           "or expression inside \"%s\"", name);
5766         goto EXPAND_FAILED;
5767         }
5768
5769       while (isspace(*s)) s++;                          /*{*/
5770       if (*s++ != '}')
5771         {                                               /*{*/
5772         expand_string_message = string_sprintf("missing } at end of \"%s\"",
5773           name);
5774         goto EXPAND_FAILED;
5775         }
5776
5777       /* If we are skipping, we can now just move on to the next item. When
5778       processing for real, we perform the iteration. */
5779
5780       if (skipping) continue;
5781       while ((iterate_item = string_nextinlist(&list, &sep, NULL, 0)) != NULL)
5782         {
5783         *outsep = (uschar)sep;      /* Separator as a string */
5784
5785         DEBUG(D_expand) debug_printf("%s: $item = \"%s\"\n", name, iterate_item);
5786
5787         if (item_type == EITEM_FILTER)
5788           {
5789           BOOL condresult;
5790           if (eval_condition(expr, &resetok, &condresult) == NULL)
5791             {
5792             iterate_item = save_iterate_item;
5793             lookup_value = save_lookup_value;
5794             expand_string_message = string_sprintf("%s inside \"%s\" condition",
5795               expand_string_message, name);
5796             goto EXPAND_FAILED;
5797             }
5798           DEBUG(D_expand) debug_printf("%s: condition is %s\n", name,
5799             condresult? "true":"false");
5800           if (condresult)
5801             temp = iterate_item;    /* TRUE => include this item */
5802           else
5803             continue;               /* FALSE => skip this item */
5804           }
5805
5806         /* EITEM_MAP and EITEM_REDUCE */
5807
5808         else
5809           {
5810           uschar * t = expand_string_internal(expr, TRUE, NULL, skipping, TRUE, &resetok);
5811           temp = t;
5812           if (temp == NULL)
5813             {
5814             iterate_item = save_iterate_item;
5815             expand_string_message = string_sprintf("%s inside \"%s\" item",
5816               expand_string_message, name);
5817             goto EXPAND_FAILED;
5818             }
5819           if (item_type == EITEM_REDUCE)
5820             {
5821             lookup_value = t;         /* Update the value of $value */
5822             continue;                 /* and continue the iteration */
5823             }
5824           }
5825
5826         /* We reach here for FILTER if the condition is true, always for MAP,
5827         and never for REDUCE. The value in "temp" is to be added to the output
5828         list that is being created, ensuring that any occurrences of the
5829         separator character are doubled. Unless we are dealing with the first
5830         item of the output list, add in a space if the new item begins with the
5831         separator character, or is an empty string. */
5832
5833         if (ptr != save_ptr && (temp[0] == *outsep || temp[0] == 0))
5834           yield = string_catn(yield, &size, &ptr, US" ", 1);
5835
5836         /* Add the string in "temp" to the output list that we are building,
5837         This is done in chunks by searching for the separator character. */
5838
5839         for (;;)
5840           {
5841           size_t seglen = Ustrcspn(temp, outsep);
5842
5843           yield = string_catn(yield, &size, &ptr, temp, seglen + 1);
5844
5845           /* If we got to the end of the string we output one character
5846           too many; backup and end the loop. Otherwise arrange to double the
5847           separator. */
5848
5849           if (temp[seglen] == '\0') { ptr--; break; }
5850           yield = string_catn(yield, &size, &ptr, outsep, 1);
5851           temp += seglen + 1;
5852           }
5853
5854         /* Output a separator after the string: we will remove the redundant
5855         final one at the end. */
5856
5857         yield = string_catn(yield, &size, &ptr, outsep, 1);
5858         }   /* End of iteration over the list loop */
5859
5860       /* REDUCE has generated no output above: output the final value of
5861       $value. */
5862
5863       if (item_type == EITEM_REDUCE)
5864         {
5865         yield = string_cat(yield, &size, &ptr, lookup_value);
5866         lookup_value = save_lookup_value;  /* Restore $value */
5867         }
5868
5869       /* FILTER and MAP generate lists: if they have generated anything, remove
5870       the redundant final separator. Even though an empty item at the end of a
5871       list does not count, this is tidier. */
5872
5873       else if (ptr != save_ptr) ptr--;
5874
5875       /* Restore preserved $item */
5876
5877       iterate_item = save_iterate_item;
5878       continue;
5879       }
5880
5881     case EITEM_SORT:
5882       {
5883       int sep = 0;
5884       const uschar *srclist, *cmp, *xtract;
5885       uschar *srcitem;
5886       const uschar *dstlist = NULL, *dstkeylist = NULL;
5887       uschar * tmp;
5888       uschar *save_iterate_item = iterate_item;
5889
5890       while (isspace(*s)) s++;
5891       if (*s++ != '{')
5892         {
5893         expand_string_message = US"missing '{' for list arg of sort";
5894         goto EXPAND_FAILED_CURLY;
5895         }
5896
5897       srclist = expand_string_internal(s, TRUE, &s, skipping, TRUE, &resetok);
5898       if (!srclist) goto EXPAND_FAILED;
5899       if (*s++ != '}')
5900         {
5901         expand_string_message = US"missing '}' closing list arg of sort";
5902         goto EXPAND_FAILED_CURLY;
5903         }
5904
5905       while (isspace(*s)) s++;
5906       if (*s++ != '{')
5907         {
5908         expand_string_message = US"missing '{' for comparator arg of sort";
5909         goto EXPAND_FAILED_CURLY;
5910         }
5911
5912       cmp = expand_string_internal(s, TRUE, &s, skipping, FALSE, &resetok);
5913       if (!cmp) goto EXPAND_FAILED;
5914       if (*s++ != '}')
5915         {
5916         expand_string_message = US"missing '}' closing comparator arg of sort";
5917         goto EXPAND_FAILED_CURLY;
5918         }
5919
5920       while (isspace(*s)) s++;
5921       if (*s++ != '{')
5922         {
5923         expand_string_message = US"missing '{' for extractor arg of sort";
5924         goto EXPAND_FAILED_CURLY;
5925         }
5926
5927       xtract = s;
5928       tmp = expand_string_internal(s, TRUE, &s, TRUE, TRUE, &resetok);
5929       if (!tmp) goto EXPAND_FAILED;
5930       xtract = string_copyn(xtract, s - xtract);
5931
5932       if (*s++ != '}')
5933         {
5934         expand_string_message = US"missing '}' closing extractor arg of sort";
5935         goto EXPAND_FAILED_CURLY;
5936         }
5937                                                         /*{*/
5938       if (*s++ != '}')
5939         {                                               /*{*/
5940         expand_string_message = US"missing } at end of \"sort\"";
5941         goto EXPAND_FAILED;
5942         }
5943
5944       if (skipping) continue;
5945
5946       while ((srcitem = string_nextinlist(&srclist, &sep, NULL, 0)))
5947         {
5948         uschar * dstitem;
5949         uschar * newlist = NULL;
5950         uschar * newkeylist = NULL;
5951         uschar * srcfield;
5952
5953         DEBUG(D_expand) debug_printf("%s: $item = \"%s\"\n", name, srcitem);
5954
5955         /* extract field for comparisons */
5956         iterate_item = srcitem;
5957         if (  !(srcfield = expand_string_internal(xtract, FALSE, NULL, FALSE,
5958                                           TRUE, &resetok))
5959            || !*srcfield)
5960           {
5961           expand_string_message = string_sprintf(
5962               "field-extract in sort: \"%s\"", xtract);
5963           goto EXPAND_FAILED;
5964           }
5965
5966         /* Insertion sort */
5967
5968         /* copy output list until new-item < list-item */
5969         while ((dstitem = string_nextinlist(&dstlist, &sep, NULL, 0)))
5970           {
5971           uschar * dstfield;
5972           uschar * expr;
5973           BOOL before;
5974
5975           /* field for comparison */
5976           if (!(dstfield = string_nextinlist(&dstkeylist, &sep, NULL, 0)))
5977             goto sort_mismatch;
5978
5979           /* build and run condition string */
5980           expr = string_sprintf("%s{%s}{%s}", cmp, srcfield, dstfield);
5981
5982           DEBUG(D_expand) debug_printf("%s: cond = \"%s\"\n", name, expr);
5983           if (!eval_condition(expr, &resetok, &before))
5984             {
5985             expand_string_message = string_sprintf("comparison in sort: %s",
5986                 expr);
5987             goto EXPAND_FAILED;
5988             }
5989
5990           if (before)
5991             {
5992             /* New-item sorts before this dst-item.  Append new-item,
5993             then dst-item, then remainder of dst list. */
5994
5995             newlist = string_append_listele(newlist, sep, srcitem);
5996             newkeylist = string_append_listele(newkeylist, sep, srcfield);
5997             srcitem = NULL;
5998
5999             newlist = string_append_listele(newlist, sep, dstitem);
6000             newkeylist = string_append_listele(newkeylist, sep, dstfield);
6001
6002             while ((dstitem = string_nextinlist(&dstlist, &sep, NULL, 0)))
6003               {
6004               if (!(dstfield = string_nextinlist(&dstkeylist, &sep, NULL, 0)))
6005                 goto sort_mismatch;
6006               newlist = string_append_listele(newlist, sep, dstitem);
6007               newkeylist = string_append_listele(newkeylist, sep, dstfield);
6008               }
6009
6010             break;
6011             }
6012
6013           newlist = string_append_listele(newlist, sep, dstitem);
6014           newkeylist = string_append_listele(newkeylist, sep, dstfield);
6015           }
6016
6017         /* If we ran out of dstlist without consuming srcitem, append it */
6018         if (srcitem)
6019           {
6020           newlist = string_append_listele(newlist, sep, srcitem);
6021           newkeylist = string_append_listele(newkeylist, sep, srcfield);
6022           }
6023
6024         dstlist = newlist;
6025         dstkeylist = newkeylist;
6026
6027         DEBUG(D_expand) debug_printf("%s: dstlist = \"%s\"\n", name, dstlist);
6028         DEBUG(D_expand) debug_printf("%s: dstkeylist = \"%s\"\n", name, dstkeylist);
6029         }
6030
6031       if (dstlist)
6032         yield = string_cat(yield, &size, &ptr, dstlist);
6033
6034       /* Restore preserved $item */
6035       iterate_item = save_iterate_item;
6036       continue;
6037
6038       sort_mismatch:
6039         expand_string_message = US"Internal error in sort (list mismatch)";
6040         goto EXPAND_FAILED;
6041       }
6042
6043
6044     /* If ${dlfunc } support is configured, handle calling dynamically-loaded
6045     functions, unless locked out at this time. Syntax is ${dlfunc{file}{func}}
6046     or ${dlfunc{file}{func}{arg}} or ${dlfunc{file}{func}{arg1}{arg2}} or up to
6047     a maximum of EXPAND_DLFUNC_MAX_ARGS arguments (defined below). */
6048
6049     #define EXPAND_DLFUNC_MAX_ARGS 8
6050
6051     case EITEM_DLFUNC:
6052 #ifndef EXPAND_DLFUNC
6053       expand_string_message = US"\"${dlfunc\" encountered, but this facility "  /*}*/
6054         "is not included in this binary";
6055       goto EXPAND_FAILED;
6056
6057 #else   /* EXPAND_DLFUNC */
6058       {
6059       tree_node *t;
6060       exim_dlfunc_t *func;
6061       uschar *result;
6062       int status, argc;
6063       uschar *argv[EXPAND_DLFUNC_MAX_ARGS + 3];
6064
6065       if ((expand_forbid & RDO_DLFUNC) != 0)
6066         {
6067         expand_string_message =
6068           US"dynamically-loaded functions are not permitted";
6069         goto EXPAND_FAILED;
6070         }
6071
6072       switch(read_subs(argv, EXPAND_DLFUNC_MAX_ARGS + 2, 2, &s, skipping,
6073            TRUE, US"dlfunc", &resetok))
6074         {
6075         case 1: goto EXPAND_FAILED_CURLY;
6076         case 2:
6077         case 3: goto EXPAND_FAILED;
6078         }
6079
6080       /* If skipping, we don't actually do anything */
6081
6082       if (skipping) continue;
6083
6084       /* Look up the dynamically loaded object handle in the tree. If it isn't
6085       found, dlopen() the file and put the handle in the tree for next time. */
6086
6087       t = tree_search(dlobj_anchor, argv[0]);
6088       if (t == NULL)
6089         {
6090         void *handle = dlopen(CS argv[0], RTLD_LAZY);
6091         if (handle == NULL)
6092           {
6093           expand_string_message = string_sprintf("dlopen \"%s\" failed: %s",
6094             argv[0], dlerror());
6095           log_write(0, LOG_MAIN|LOG_PANIC, "%s", expand_string_message);
6096           goto EXPAND_FAILED;
6097           }
6098         t = store_get_perm(sizeof(tree_node) + Ustrlen(argv[0]));
6099         Ustrcpy(t->name, argv[0]);
6100         t->data.ptr = handle;
6101         (void)tree_insertnode(&dlobj_anchor, t);
6102         }
6103
6104       /* Having obtained the dynamically loaded object handle, look up the
6105       function pointer. */
6106
6107       func = (exim_dlfunc_t *)dlsym(t->data.ptr, CS argv[1]);
6108       if (func == NULL)
6109         {
6110         expand_string_message = string_sprintf("dlsym \"%s\" in \"%s\" failed: "
6111           "%s", argv[1], argv[0], dlerror());
6112         log_write(0, LOG_MAIN|LOG_PANIC, "%s", expand_string_message);
6113         goto EXPAND_FAILED;
6114         }
6115
6116       /* Call the function and work out what to do with the result. If it
6117       returns OK, we have a replacement string; if it returns DEFER then
6118       expansion has failed in a non-forced manner; if it returns FAIL then
6119       failure was forced; if it returns ERROR or any other value there's a
6120       problem, so panic slightly. In any case, assume that the function has
6121       side-effects on the store that must be preserved. */
6122
6123       resetok = FALSE;
6124       result = NULL;
6125       for (argc = 0; argv[argc] != NULL; argc++);
6126       status = func(&result, argc - 2, &argv[2]);
6127       if(status == OK)
6128         {
6129         if (result == NULL) result = US"";
6130         yield = string_cat(yield, &size, &ptr, result);
6131         continue;
6132         }
6133       else
6134         {
6135         expand_string_message = result == NULL ? US"(no message)" : result;
6136         if(status == FAIL_FORCED) expand_string_forcedfail = TRUE;
6137           else if(status != FAIL)
6138             log_write(0, LOG_MAIN|LOG_PANIC, "dlfunc{%s}{%s} failed (%d): %s",
6139               argv[0], argv[1], status, expand_string_message);
6140         goto EXPAND_FAILED;
6141         }
6142       }
6143 #endif /* EXPAND_DLFUNC */
6144
6145     case EITEM_ENV:     /* ${env {name} {val_if_found} {val_if_unfound}} */
6146       {
6147       uschar * key;
6148       uschar *save_lookup_value = lookup_value;
6149
6150       while (isspace(*s)) s++;
6151       if (*s != '{')                                    /*}*/
6152         goto EXPAND_FAILED;
6153
6154       key = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
6155       if (!key) goto EXPAND_FAILED;                     /*{*/
6156       if (*s++ != '}')
6157         {
6158         expand_string_message = US"missing '{' for name arg of env";
6159         goto EXPAND_FAILED_CURLY;
6160         }
6161
6162       lookup_value = US getenv(CS key);
6163
6164       switch(process_yesno(
6165                skipping,                     /* were previously skipping */
6166                lookup_value != NULL,         /* success/failure indicator */
6167                save_lookup_value,            /* value to reset for string2 */
6168                &s,                           /* input pointer */
6169                &yield,                       /* output pointer */
6170                &size,                        /* output size */
6171                &ptr,                         /* output current point */
6172                US"env",                      /* condition type */
6173                &resetok))
6174         {
6175         case 1: goto EXPAND_FAILED;          /* when all is well, the */
6176         case 2: goto EXPAND_FAILED_CURLY;    /* returned value is 0 */
6177         }
6178       continue;
6179       }
6180     }   /* EITEM_* switch */
6181
6182   /* Control reaches here if the name is not recognized as one of the more
6183   complicated expansion items. Check for the "operator" syntax (name terminated
6184   by a colon). Some of the operators have arguments, separated by _ from the
6185   name. */
6186
6187   if (*s == ':')
6188     {
6189     int c;
6190     uschar *arg = NULL;
6191     uschar *sub;
6192     var_entry *vp = NULL;
6193
6194     /* Owing to an historical mis-design, an underscore may be part of the
6195     operator name, or it may introduce arguments.  We therefore first scan the
6196     table of names that contain underscores. If there is no match, we cut off
6197     the arguments and then scan the main table. */
6198
6199     if ((c = chop_match(name, op_table_underscore,
6200                         nelem(op_table_underscore))) < 0)
6201       {
6202       arg = Ustrchr(name, '_');
6203       if (arg != NULL) *arg = 0;
6204       c = chop_match(name, op_table_main, nelem(op_table_main));
6205       if (c >= 0) c += nelem(op_table_underscore);
6206       if (arg != NULL) *arg++ = '_';   /* Put back for error messages */
6207       }
6208
6209     /* Deal specially with operators that might take a certificate variable
6210     as we do not want to do the usual expansion. For most, expand the string.*/
6211     switch(c)
6212       {
6213 #ifdef SUPPORT_TLS
6214       case EOP_MD5:
6215       case EOP_SHA1:
6216       case EOP_SHA256:
6217       case EOP_BASE64:
6218         if (s[1] == '$')
6219           {
6220           const uschar * s1 = s;
6221           sub = expand_string_internal(s+2, TRUE, &s1, skipping,
6222                   FALSE, &resetok);
6223           if (!sub)       goto EXPAND_FAILED;           /*{*/
6224           if (*s1 != '}')
6225             {
6226             expand_string_message =
6227               string_sprintf("missing '}' closing cert arg of %s", name);
6228             goto EXPAND_FAILED_CURLY;
6229             }
6230           if ((vp = find_var_ent(sub)) && vp->type == vtype_cert)
6231             {
6232             s = s1+1;
6233             break;
6234             }
6235           vp = NULL;
6236           }
6237         /*FALLTHROUGH*/
6238 #endif
6239       default:
6240         sub = expand_string_internal(s+1, TRUE, &s, skipping, TRUE, &resetok);
6241         if (!sub) goto EXPAND_FAILED;
6242         s++;
6243         break;
6244       }
6245
6246     /* If we are skipping, we don't need to perform the operation at all.
6247     This matters for operations like "mask", because the data may not be
6248     in the correct format when skipping. For example, the expression may test
6249     for the existence of $sender_host_address before trying to mask it. For
6250     other operations, doing them may not fail, but it is a waste of time. */
6251
6252     if (skipping && c >= 0) continue;
6253
6254     /* Otherwise, switch on the operator type */
6255
6256     switch(c)
6257       {
6258       case EOP_BASE62:
6259         {
6260         uschar *t;
6261         unsigned long int n = Ustrtoul(sub, &t, 10);
6262         if (*t != 0)
6263           {
6264           expand_string_message = string_sprintf("argument for base62 "
6265             "operator is \"%s\", which is not a decimal number", sub);
6266           goto EXPAND_FAILED;
6267           }
6268         t = string_base62(n);
6269         yield = string_cat(yield, &size, &ptr, t);
6270         continue;
6271         }
6272
6273       /* Note that for Darwin and Cygwin, BASE_62 actually has the value 36 */
6274
6275       case EOP_BASE62D:
6276         {
6277         uschar buf[16];
6278         uschar *tt = sub;
6279         unsigned long int n = 0;
6280         while (*tt != 0)
6281           {
6282           uschar *t = Ustrchr(base62_chars, *tt++);
6283           if (t == NULL)
6284             {
6285             expand_string_message = string_sprintf("argument for base62d "
6286               "operator is \"%s\", which is not a base %d number", sub,
6287               BASE_62);
6288             goto EXPAND_FAILED;
6289             }
6290           n = n * BASE_62 + (t - base62_chars);
6291           }
6292         (void)sprintf(CS buf, "%ld", n);
6293         yield = string_cat(yield, &size, &ptr, buf);
6294         continue;
6295         }
6296
6297       case EOP_EXPAND:
6298         {
6299         uschar *expanded = expand_string_internal(sub, FALSE, NULL, skipping, TRUE, &resetok);
6300         if (expanded == NULL)
6301           {
6302           expand_string_message =
6303             string_sprintf("internal expansion of \"%s\" failed: %s", sub,
6304               expand_string_message);
6305           goto EXPAND_FAILED;
6306           }
6307         yield = string_cat(yield, &size, &ptr, expanded);
6308         continue;
6309         }
6310
6311       case EOP_LC:
6312         {
6313         int count = 0;
6314         uschar *t = sub - 1;
6315         while (*(++t) != 0) { *t = tolower(*t); count++; }
6316         yield = string_catn(yield, &size, &ptr, sub, count);
6317         continue;
6318         }
6319
6320       case EOP_UC:
6321         {
6322         int count = 0;
6323         uschar *t = sub - 1;
6324         while (*(++t) != 0) { *t = toupper(*t); count++; }
6325         yield = string_catn(yield, &size, &ptr, sub, count);
6326         continue;
6327         }
6328
6329       case EOP_MD5:
6330 #ifdef SUPPORT_TLS
6331         if (vp && *(void **)vp->value)
6332           {
6333           uschar * cp = tls_cert_fprt_md5(*(void **)vp->value);
6334           yield = string_cat(yield, &size, &ptr, cp);
6335           }
6336         else
6337 #endif
6338           {
6339           md5 base;
6340           uschar digest[16];
6341           int j;
6342           char st[33];
6343           md5_start(&base);
6344           md5_end(&base, sub, Ustrlen(sub), digest);
6345           for(j = 0; j < 16; j++) sprintf(st+2*j, "%02x", digest[j]);
6346           yield = string_cat(yield, &size, &ptr, US st);
6347           }
6348         continue;
6349
6350       case EOP_SHA1:
6351 #ifdef SUPPORT_TLS
6352         if (vp && *(void **)vp->value)
6353           {
6354           uschar * cp = tls_cert_fprt_sha1(*(void **)vp->value);
6355           yield = string_cat(yield, &size, &ptr, cp);
6356           }
6357         else
6358 #endif
6359           {
6360           hctx h;
6361           uschar digest[20];
6362           int j;
6363           char st[41];
6364           sha1_start(&h);
6365           sha1_end(&h, sub, Ustrlen(sub), digest);
6366           for(j = 0; j < 20; j++) sprintf(st+2*j, "%02X", digest[j]);
6367           yield = string_cat(yield, &size, &ptr, US st);
6368           }
6369         continue;
6370
6371       case EOP_SHA256:
6372 #ifdef SUPPORT_TLS
6373         if (vp && *(void **)vp->value)
6374           {
6375           uschar * cp = tls_cert_fprt_sha256(*(void **)vp->value);
6376           yield = string_cat(yield, &size, &ptr, cp);
6377           }
6378         else
6379 #endif
6380           expand_string_message = US"sha256 only supported for certificates";
6381         continue;
6382
6383       /* Convert hex encoding to base64 encoding */
6384
6385       case EOP_HEX2B64:
6386         {
6387         int c = 0;
6388         int b = -1;
6389         uschar *in = sub;
6390         uschar *out = sub;
6391         uschar *enc;
6392
6393         for (enc = sub; *enc != 0; enc++)
6394           {
6395           if (!isxdigit(*enc))
6396             {
6397             expand_string_message = string_sprintf("\"%s\" is not a hex "
6398               "string", sub);
6399             goto EXPAND_FAILED;
6400             }
6401           c++;
6402           }
6403
6404         if ((c & 1) != 0)
6405           {
6406           expand_string_message = string_sprintf("\"%s\" contains an odd "
6407             "number of characters", sub);
6408           goto EXPAND_FAILED;
6409           }
6410
6411         while ((c = *in++) != 0)
6412           {
6413           if (isdigit(c)) c -= '0';
6414           else c = toupper(c) - 'A' + 10;
6415           if (b == -1)
6416             {
6417             b = c << 4;
6418             }
6419           else
6420             {
6421             *out++ = b | c;
6422             b = -1;
6423             }
6424           }
6425
6426         enc = b64encode(sub, out - sub);
6427         yield = string_cat(yield, &size, &ptr, enc);
6428         continue;
6429         }
6430
6431       /* Convert octets outside 0x21..0x7E to \xXX form */
6432
6433       case EOP_HEXQUOTE:
6434         {
6435         uschar *t = sub - 1;
6436         while (*(++t) != 0)
6437           {
6438           if (*t < 0x21 || 0x7E < *t)
6439             yield = string_catn(yield, &size, &ptr,
6440               string_sprintf("\\x%02x", *t), 4);
6441           else
6442             yield = string_catn(yield, &size, &ptr, t, 1);
6443           }
6444         continue;
6445         }
6446
6447       /* count the number of list elements */
6448
6449       case EOP_LISTCOUNT:
6450         {
6451         int cnt = 0;
6452         int sep = 0;
6453         uschar * cp;
6454         uschar buffer[256];
6455
6456         while (string_nextinlist(CUSS &sub, &sep, buffer, sizeof(buffer)) != NULL) cnt++;
6457         cp = string_sprintf("%d", cnt);
6458         yield = string_cat(yield, &size, &ptr, cp);
6459         continue;
6460         }
6461
6462       /* expand a named list given the name */
6463       /* handles nested named lists; requotes as colon-sep list */
6464
6465       case EOP_LISTNAMED:
6466         {
6467         tree_node *t = NULL;
6468         const uschar * list;
6469         int sep = 0;
6470         uschar * item;
6471         uschar * suffix = US"";
6472         BOOL needsep = FALSE;
6473         uschar buffer[256];
6474
6475         if (*sub == '+') sub++;
6476         if (arg == NULL)        /* no-argument version */
6477           {
6478           if (!(t = tree_search(addresslist_anchor, sub)) &&
6479               !(t = tree_search(domainlist_anchor,  sub)) &&
6480               !(t = tree_search(hostlist_anchor,    sub)))
6481             t = tree_search(localpartlist_anchor, sub);
6482           }
6483         else switch(*arg)       /* specific list-type version */
6484           {
6485           case 'a': t = tree_search(addresslist_anchor,   sub); suffix = US"_a"; break;
6486           case 'd': t = tree_search(domainlist_anchor,    sub); suffix = US"_d"; break;
6487           case 'h': t = tree_search(hostlist_anchor,      sub); suffix = US"_h"; break;
6488           case 'l': t = tree_search(localpartlist_anchor, sub); suffix = US"_l"; break;
6489           default:
6490             expand_string_message = string_sprintf("bad suffix on \"list\" operator");
6491             goto EXPAND_FAILED;
6492           }
6493
6494         if(!t)
6495           {
6496           expand_string_message = string_sprintf("\"%s\" is not a %snamed list",
6497             sub, !arg?""
6498               : *arg=='a'?"address "
6499               : *arg=='d'?"domain "
6500               : *arg=='h'?"host "
6501               : *arg=='l'?"localpart "
6502               : 0);
6503           goto EXPAND_FAILED;
6504           }
6505
6506         list = ((namedlist_block *)(t->data.ptr))->string;
6507
6508         while ((item = string_nextinlist(&list, &sep, buffer, sizeof(buffer))) != NULL)
6509           {
6510           uschar * buf = US" : ";
6511           if (needsep)
6512             yield = string_catn(yield, &size, &ptr, buf, 3);
6513           else
6514             needsep = TRUE;
6515
6516           if (*item == '+')     /* list item is itself a named list */
6517             {
6518             uschar * sub = string_sprintf("${listnamed%s:%s}", suffix, item);
6519             item = expand_string_internal(sub, FALSE, NULL, FALSE, TRUE, &resetok);
6520             }
6521           else if (sep != ':')  /* item from non-colon-sep list, re-quote for colon list-separator */
6522             {
6523             char * cp;
6524             char tok[3];
6525             tok[0] = sep; tok[1] = ':'; tok[2] = 0;
6526             while ((cp= strpbrk((const char *)item, tok)))
6527               {
6528               yield = string_catn(yield, &size, &ptr, item, cp-(char *)item);
6529               if (*cp++ == ':') /* colon in a non-colon-sep list item, needs doubling */
6530                 {
6531                 yield = string_catn(yield, &size, &ptr, US"::", 2);
6532                 item = (uschar *)cp;
6533                 }
6534               else              /* sep in item; should already be doubled; emit once */
6535                 {
6536                 yield = string_catn(yield, &size, &ptr, (uschar *)tok, 1);
6537                 if (*cp == sep) cp++;
6538                 item = (uschar *)cp;
6539                 }
6540               }
6541             }
6542           yield = string_cat(yield, &size, &ptr, item);
6543           }
6544         continue;
6545         }
6546
6547       /* mask applies a mask to an IP address; for example the result of
6548       ${mask:131.111.10.206/28} is 131.111.10.192/28. */
6549
6550       case EOP_MASK:
6551         {
6552         int count;
6553         uschar *endptr;
6554         int binary[4];
6555         int mask, maskoffset;
6556         int type = string_is_ip_address(sub, &maskoffset);
6557         uschar buffer[64];
6558
6559         if (type == 0)
6560           {
6561           expand_string_message = string_sprintf("\"%s\" is not an IP address",
6562            sub);
6563           goto EXPAND_FAILED;
6564           }
6565
6566         if (maskoffset == 0)
6567           {
6568           expand_string_message = string_sprintf("missing mask value in \"%s\"",
6569             sub);
6570           goto EXPAND_FAILED;
6571           }
6572
6573         mask = Ustrtol(sub + maskoffset + 1, &endptr, 10);
6574
6575         if (*endptr != 0 || mask < 0 || mask > ((type == 4)? 32 : 128))
6576           {
6577           expand_string_message = string_sprintf("mask value too big in \"%s\"",
6578             sub);
6579           goto EXPAND_FAILED;
6580           }
6581
6582         /* Convert the address to binary integer(s) and apply the mask */
6583
6584         sub[maskoffset] = 0;
6585         count = host_aton(sub, binary);
6586         host_mask(count, binary, mask);
6587
6588         /* Convert to masked textual format and add to output. */
6589
6590         yield = string_catn(yield, &size, &ptr, buffer,
6591           host_nmtoa(count, binary, mask, buffer, '.'));
6592         continue;
6593         }
6594
6595       case EOP_IPV6NORM:
6596       case EOP_IPV6DENORM:
6597         {
6598         int type = string_is_ip_address(sub, NULL);
6599         int binary[4];
6600         uschar buffer[44];
6601
6602         switch (type)
6603           {
6604           case 6:
6605             (void) host_aton(sub, binary);
6606             break;
6607
6608           case 4:       /* convert to IPv4-mapped IPv6 */
6609             binary[0] = binary[1] = 0;
6610             binary[2] = 0x0000ffff;
6611             (void) host_aton(sub, binary+3);
6612             break;
6613
6614           case 0:
6615             expand_string_message =
6616               string_sprintf("\"%s\" is not an IP address", sub);
6617             goto EXPAND_FAILED;
6618           }
6619
6620         yield = string_catn(yield, &size, &ptr, buffer,
6621                   c == EOP_IPV6NORM
6622                     ? ipv6_nmtoa(binary, buffer)
6623                     : host_nmtoa(4, binary, -1, buffer, ':')
6624                   );
6625         continue;
6626         }
6627
6628       case EOP_ADDRESS:
6629       case EOP_LOCAL_PART:
6630       case EOP_DOMAIN:
6631         {
6632         uschar *error;
6633         int start, end, domain;
6634         uschar *t = parse_extract_address(sub, &error, &start, &end, &domain,
6635           FALSE);
6636         if (t != NULL)
6637           {
6638           if (c != EOP_DOMAIN)
6639             {
6640             if (c == EOP_LOCAL_PART && domain != 0) end = start + domain - 1;
6641             yield = string_catn(yield, &size, &ptr, sub+start, end-start);
6642             }
6643           else if (domain != 0)
6644             {
6645             domain += start;
6646             yield = string_catn(yield, &size, &ptr, sub+domain, end-domain);
6647             }
6648           }
6649         continue;
6650         }
6651
6652       case EOP_ADDRESSES:
6653         {
6654         uschar outsep[2] = { ':', '\0' };
6655         uschar *address, *error;
6656         int save_ptr = ptr;
6657         int start, end, domain;  /* Not really used */
6658
6659         while (isspace(*sub)) sub++;
6660         if (*sub == '>') { *outsep = *++sub; ++sub; }
6661         parse_allow_group = TRUE;
6662
6663         for (;;)
6664           {
6665           uschar *p = parse_find_address_end(sub, FALSE);
6666           uschar saveend = *p;
6667           *p = '\0';
6668           address = parse_extract_address(sub, &error, &start, &end, &domain,
6669             FALSE);
6670           *p = saveend;
6671
6672           /* Add the address to the output list that we are building. This is
6673           done in chunks by searching for the separator character. At the
6674           start, unless we are dealing with the first address of the output
6675           list, add in a space if the new address begins with the separator
6676           character, or is an empty string. */
6677
6678           if (address != NULL)
6679             {
6680             if (ptr != save_ptr && address[0] == *outsep)
6681               yield = string_catn(yield, &size, &ptr, US" ", 1);
6682
6683             for (;;)
6684               {
6685               size_t seglen = Ustrcspn(address, outsep);
6686               yield = string_catn(yield, &size, &ptr, address, seglen + 1);
6687
6688               /* If we got to the end of the string we output one character
6689               too many. */
6690
6691               if (address[seglen] == '\0') { ptr--; break; }
6692               yield = string_catn(yield, &size, &ptr, outsep, 1);
6693               address += seglen + 1;
6694               }
6695
6696             /* Output a separator after the string: we will remove the
6697             redundant final one at the end. */
6698
6699             yield = string_catn(yield, &size, &ptr, outsep, 1);
6700             }
6701
6702           if (saveend == '\0') break;
6703           sub = p + 1;
6704           }
6705
6706         /* If we have generated anything, remove the redundant final
6707         separator. */
6708
6709         if (ptr != save_ptr) ptr--;
6710         parse_allow_group = FALSE;
6711         continue;
6712         }
6713
6714
6715       /* quote puts a string in quotes if it is empty or contains anything
6716       other than alphamerics, underscore, dot, or hyphen.
6717
6718       quote_local_part puts a string in quotes if RFC 2821/2822 requires it to
6719       be quoted in order to be a valid local part.
6720
6721       In both cases, newlines and carriage returns are converted into \n and \r
6722       respectively */
6723
6724       case EOP_QUOTE:
6725       case EOP_QUOTE_LOCAL_PART:
6726       if (arg == NULL)
6727         {
6728         BOOL needs_quote = (*sub == 0);      /* TRUE for empty string */
6729         uschar *t = sub - 1;
6730
6731         if (c == EOP_QUOTE)
6732           {
6733           while (!needs_quote && *(++t) != 0)
6734             needs_quote = !isalnum(*t) && !strchr("_-.", *t);
6735           }
6736         else  /* EOP_QUOTE_LOCAL_PART */
6737           {
6738           while (!needs_quote && *(++t) != 0)
6739             needs_quote = !isalnum(*t) &&
6740               strchr("!#$%&'*+-/=?^_`{|}~", *t) == NULL &&
6741               (*t != '.' || t == sub || t[1] == 0);
6742           }
6743
6744         if (needs_quote)
6745           {
6746           yield = string_catn(yield, &size, &ptr, US"\"", 1);
6747           t = sub - 1;
6748           while (*(++t) != 0)
6749             {
6750             if (*t == '\n')
6751               yield = string_catn(yield, &size, &ptr, US"\\n", 2);
6752             else if (*t == '\r')
6753               yield = string_catn(yield, &size, &ptr, US"\\r", 2);
6754             else
6755               {
6756               if (*t == '\\' || *t == '"')
6757                 yield = string_catn(yield, &size, &ptr, US"\\", 1);
6758               yield = string_catn(yield, &size, &ptr, t, 1);
6759               }
6760             }
6761           yield = string_catn(yield, &size, &ptr, US"\"", 1);
6762           }
6763         else yield = string_cat(yield, &size, &ptr, sub);
6764         continue;
6765         }
6766
6767       /* quote_lookuptype does lookup-specific quoting */
6768
6769       else
6770         {
6771         int n;
6772         uschar *opt = Ustrchr(arg, '_');
6773
6774         if (opt != NULL) *opt++ = 0;
6775
6776         n = search_findtype(arg, Ustrlen(arg));
6777         if (n < 0)
6778           {
6779           expand_string_message = search_error_message;
6780           goto EXPAND_FAILED;
6781           }
6782
6783         if (lookup_list[n]->quote != NULL)
6784           sub = (lookup_list[n]->quote)(sub, opt);
6785         else if (opt != NULL) sub = NULL;
6786
6787         if (sub == NULL)
6788           {
6789           expand_string_message = string_sprintf(
6790             "\"%s\" unrecognized after \"${quote_%s\"",
6791             opt, arg);
6792           goto EXPAND_FAILED;
6793           }
6794
6795         yield = string_cat(yield, &size, &ptr, sub);
6796         continue;
6797         }
6798
6799       /* rx quote sticks in \ before any non-alphameric character so that
6800       the insertion works in a regular expression. */
6801
6802       case EOP_RXQUOTE:
6803         {
6804         uschar *t = sub - 1;
6805         while (*(++t) != 0)
6806           {
6807           if (!isalnum(*t))
6808             yield = string_catn(yield, &size, &ptr, US"\\", 1);
6809           yield = string_catn(yield, &size, &ptr, t, 1);
6810           }
6811         continue;
6812         }
6813
6814       /* RFC 2047 encodes, assuming headers_charset (default ISO 8859-1) as
6815       prescribed by the RFC, if there are characters that need to be encoded */
6816
6817       case EOP_RFC2047:
6818         {
6819         uschar buffer[2048];
6820         const uschar *string = parse_quote_2047(sub, Ustrlen(sub), headers_charset,
6821           buffer, sizeof(buffer), FALSE);
6822         yield = string_cat(yield, &size, &ptr, string);
6823         continue;
6824         }
6825
6826       /* RFC 2047 decode */
6827
6828       case EOP_RFC2047D:
6829         {
6830         int len;
6831         uschar *error;
6832         uschar *decoded = rfc2047_decode(sub, check_rfc2047_length,
6833           headers_charset, '?', &len, &error);
6834         if (error != NULL)
6835           {
6836           expand_string_message = error;
6837           goto EXPAND_FAILED;
6838           }
6839         yield = string_catn(yield, &size, &ptr, decoded, len);
6840         continue;
6841         }
6842
6843       /* from_utf8 converts UTF-8 to 8859-1, turning non-existent chars into
6844       underscores */
6845
6846       case EOP_FROM_UTF8:
6847         {
6848         while (*sub != 0)
6849           {
6850           int c;
6851           uschar buff[4];
6852           GETUTF8INC(c, sub);
6853           if (c > 255) c = '_';
6854           buff[0] = c;
6855           yield = string_catn(yield, &size, &ptr, buff, 1);
6856           }
6857         continue;
6858         }
6859
6860           /* replace illegal UTF-8 sequences by replacement character  */
6861
6862       #define UTF8_REPLACEMENT_CHAR US"?"
6863
6864       case EOP_UTF8CLEAN:
6865         {
6866         int seq_len = 0, index = 0;
6867         int bytes_left = 0;
6868         long codepoint = -1;
6869         uschar seq_buff[4];                     /* accumulate utf-8 here */
6870
6871         while (*sub != 0)
6872           {
6873           int complete = 0;
6874           uschar c = *sub++;
6875
6876           if (bytes_left)
6877             {
6878             if ((c & 0xc0) != 0x80)
6879                     /* wrong continuation byte; invalidate all bytes */
6880               complete = 1; /* error */
6881             else
6882               {
6883               codepoint = (codepoint << 6) | (c & 0x3f);
6884               seq_buff[index++] = c;
6885               if (--bytes_left == 0)            /* codepoint complete */
6886                 if(codepoint > 0x10FFFF)        /* is it too large? */
6887                   complete = -1;        /* error (RFC3629 limit) */
6888                 else
6889                   {             /* finished; output utf-8 sequence */
6890                   yield = string_catn(yield, &size, &ptr, seq_buff, seq_len);
6891                   index = 0;
6892                   }
6893               }
6894             }
6895           else  /* no bytes left: new sequence */
6896             {
6897             if((c & 0x80) == 0) /* 1-byte sequence, US-ASCII, keep it */
6898               {
6899               yield = string_catn(yield, &size, &ptr, &c, 1);
6900               continue;
6901               }
6902             if((c & 0xe0) == 0xc0)              /* 2-byte sequence */
6903               {
6904               if(c == 0xc0 || c == 0xc1)        /* 0xc0 and 0xc1 are illegal */
6905                 complete = -1;
6906               else
6907                 {
6908                   bytes_left = 1;
6909                   codepoint = c & 0x1f;
6910                 }
6911               }
6912             else if((c & 0xf0) == 0xe0)         /* 3-byte sequence */
6913               {
6914               bytes_left = 2;
6915               codepoint = c & 0x0f;
6916               }
6917             else if((c & 0xf8) == 0xf0)         /* 4-byte sequence */
6918               {
6919               bytes_left = 3;
6920               codepoint = c & 0x07;
6921               }
6922             else        /* invalid or too long (RFC3629 allows only 4 bytes) */
6923               complete = -1;
6924
6925             seq_buff[index++] = c;
6926             seq_len = bytes_left + 1;
6927             }           /* if(bytes_left) */
6928
6929           if (complete != 0)
6930             {
6931             bytes_left = index = 0;
6932             yield = string_catn(yield, &size, &ptr, UTF8_REPLACEMENT_CHAR, 1);
6933             }
6934           if ((complete == 1) && ((c & 0x80) == 0))
6935                         /* ASCII character follows incomplete sequence */
6936               yield = string_catn(yield, &size, &ptr, &c, 1);
6937           }
6938         continue;
6939         }
6940
6941 #ifdef SUPPORT_I18N
6942       case EOP_UTF8_DOMAIN_TO_ALABEL:
6943         {
6944         uschar * error = NULL;
6945         uschar * s = string_domain_utf8_to_alabel(sub, &error);
6946         if (error)
6947           {
6948           expand_string_message = string_sprintf(
6949             "error converting utf8 (%s) to alabel: %s",
6950             string_printing(sub), error);
6951           goto EXPAND_FAILED;
6952           }
6953         yield = string_cat(yield, &size, &ptr, s);
6954         continue;
6955         }
6956
6957       case EOP_UTF8_DOMAIN_FROM_ALABEL:
6958         {
6959         uschar * error = NULL;
6960         uschar * s = string_domain_alabel_to_utf8(sub, &error);
6961         if (error)
6962           {
6963           expand_string_message = string_sprintf(
6964             "error converting alabel (%s) to utf8: %s",
6965             string_printing(sub), error);
6966           goto EXPAND_FAILED;
6967           }
6968         yield = string_cat(yield, &size, &ptr, s);
6969         continue;
6970         }
6971
6972       case EOP_UTF8_LOCALPART_TO_ALABEL:
6973         {
6974         uschar * error = NULL;
6975         uschar * s = string_localpart_utf8_to_alabel(sub, &error);
6976         if (error)
6977           {
6978           expand_string_message = string_sprintf(
6979             "error converting utf8 (%s) to alabel: %s",
6980             string_printing(sub), error);
6981           goto EXPAND_FAILED;
6982           }
6983         yield = string_cat(yield, &size, &ptr, s);
6984         DEBUG(D_expand) debug_printf("yield: '%s'\n", yield);
6985         continue;
6986         }
6987
6988       case EOP_UTF8_LOCALPART_FROM_ALABEL:
6989         {
6990         uschar * error = NULL;
6991         uschar * s = string_localpart_alabel_to_utf8(sub, &error);
6992         if (error)
6993           {
6994           expand_string_message = string_sprintf(
6995             "error converting alabel (%s) to utf8: %s",
6996             string_printing(sub), error);
6997           goto EXPAND_FAILED;
6998           }
6999         yield = string_cat(yield, &size, &ptr, s);
7000         continue;
7001         }
7002 #endif  /* EXPERIMENTAL_INTERNATIONAL */
7003
7004       /* escape turns all non-printing characters into escape sequences. */
7005
7006       case EOP_ESCAPE:
7007         {
7008         const uschar *t = string_printing(sub);
7009         yield = string_cat(yield, &size, &ptr, t);
7010         continue;
7011         }
7012
7013       /* Handle numeric expression evaluation */
7014
7015       case EOP_EVAL:
7016       case EOP_EVAL10:
7017         {
7018         uschar *save_sub = sub;
7019         uschar *error = NULL;
7020         int_eximarith_t n = eval_expr(&sub, (c == EOP_EVAL10), &error, FALSE);
7021         if (error != NULL)
7022           {
7023           expand_string_message = string_sprintf("error in expression "
7024             "evaluation: %s (after processing \"%.*s\")", error, sub-save_sub,
7025               save_sub);
7026           goto EXPAND_FAILED;
7027           }
7028         sprintf(CS var_buffer, PR_EXIM_ARITH, n);
7029         yield = string_cat(yield, &size, &ptr, var_buffer);
7030         continue;
7031         }
7032
7033       /* Handle time period formating */
7034
7035       case EOP_TIME_EVAL:
7036         {
7037         int n = readconf_readtime(sub, 0, FALSE);
7038         if (n < 0)
7039           {
7040           expand_string_message = string_sprintf("string \"%s\" is not an "
7041             "Exim time interval in \"%s\" operator", sub, name);
7042           goto EXPAND_FAILED;
7043           }
7044         sprintf(CS var_buffer, "%d", n);
7045         yield = string_cat(yield, &size, &ptr, var_buffer);
7046         continue;
7047         }
7048
7049       case EOP_TIME_INTERVAL:
7050         {
7051         int n;
7052         uschar *t = read_number(&n, sub);
7053         if (*t != 0) /* Not A Number*/
7054           {
7055           expand_string_message = string_sprintf("string \"%s\" is not a "
7056             "positive number in \"%s\" operator", sub, name);
7057           goto EXPAND_FAILED;
7058           }
7059         t = readconf_printtime(n);
7060         yield = string_cat(yield, &size, &ptr, t);
7061         continue;
7062         }
7063
7064       /* Convert string to base64 encoding */
7065
7066       case EOP_STR2B64:
7067       case EOP_BASE64:
7068         {
7069 #ifdef SUPPORT_TLS
7070         uschar * s = vp && *(void **)vp->value
7071           ? tls_cert_der_b64(*(void **)vp->value)
7072           : b64encode(sub, Ustrlen(sub));
7073 #else
7074         uschar * s = b64encode(sub, Ustrlen(sub));
7075 #endif
7076         yield = string_cat(yield, &size, &ptr, s);
7077         continue;
7078         }
7079
7080       case EOP_BASE64D:
7081         {
7082         uschar * s;
7083         int len = b64decode(sub, &s);
7084         if (len < 0)
7085           {
7086           expand_string_message = string_sprintf("string \"%s\" is not "
7087             "well-formed for \"%s\" operator", sub, name);
7088           goto EXPAND_FAILED;
7089           }
7090         yield = string_cat(yield, &size, &ptr, s);
7091         continue;
7092         }
7093
7094       /* strlen returns the length of the string */
7095
7096       case EOP_STRLEN:
7097         {
7098         uschar buff[24];
7099         (void)sprintf(CS buff, "%d", Ustrlen(sub));
7100         yield = string_cat(yield, &size, &ptr, buff);
7101         continue;
7102         }
7103
7104       /* length_n or l_n takes just the first n characters or the whole string,
7105       whichever is the shorter;
7106
7107       substr_m_n, and s_m_n take n characters from offset m; negative m take
7108       from the end; l_n is synonymous with s_0_n. If n is omitted in substr it
7109       takes the rest, either to the right or to the left.
7110
7111       hash_n or h_n makes a hash of length n from the string, yielding n
7112       characters from the set a-z; hash_n_m makes a hash of length n, but
7113       uses m characters from the set a-zA-Z0-9.
7114
7115       nhash_n returns a single number between 0 and n-1 (in text form), while
7116       nhash_n_m returns a div/mod hash as two numbers "a/b". The first lies
7117       between 0 and n-1 and the second between 0 and m-1. */
7118
7119       case EOP_LENGTH:
7120       case EOP_L:
7121       case EOP_SUBSTR:
7122       case EOP_S:
7123       case EOP_HASH:
7124       case EOP_H:
7125       case EOP_NHASH:
7126       case EOP_NH:
7127         {
7128         int sign = 1;
7129         int value1 = 0;
7130         int value2 = -1;
7131         int *pn;
7132         int len;
7133         uschar *ret;
7134
7135         if (arg == NULL)
7136           {
7137           expand_string_message = string_sprintf("missing values after %s",
7138             name);
7139           goto EXPAND_FAILED;
7140           }
7141
7142         /* "length" has only one argument, effectively being synonymous with
7143         substr_0_n. */
7144
7145         if (c == EOP_LENGTH || c == EOP_L)
7146           {
7147           pn = &value2;
7148           value2 = 0;
7149           }
7150
7151         /* The others have one or two arguments; for "substr" the first may be
7152         negative. The second being negative means "not supplied". */
7153
7154         else
7155           {
7156           pn = &value1;
7157           if (name[0] == 's' && *arg == '-') { sign = -1; arg++; }
7158           }
7159
7160         /* Read up to two numbers, separated by underscores */
7161
7162         ret = arg;
7163         while (*arg != 0)
7164           {
7165           if (arg != ret && *arg == '_' && pn == &value1)
7166             {
7167             pn = &value2;
7168             value2 = 0;
7169             if (arg[1] != 0) arg++;
7170             }
7171           else if (!isdigit(*arg))
7172             {
7173             expand_string_message =
7174               string_sprintf("non-digit after underscore in \"%s\"", name);
7175             goto EXPAND_FAILED;
7176             }
7177           else *pn = (*pn)*10 + *arg++ - '0';
7178           }
7179         value1 *= sign;
7180
7181         /* Perform the required operation */
7182
7183         ret =
7184           (c == EOP_HASH || c == EOP_H)?
7185              compute_hash(sub, value1, value2, &len) :
7186           (c == EOP_NHASH || c == EOP_NH)?
7187              compute_nhash(sub, value1, value2, &len) :
7188              extract_substr(sub, value1, value2, &len);
7189
7190         if (ret == NULL) goto EXPAND_FAILED;
7191         yield = string_catn(yield, &size, &ptr, ret, len);
7192         continue;
7193         }
7194
7195       /* Stat a path */
7196
7197       case EOP_STAT:
7198         {
7199         uschar *s;
7200         uschar smode[12];
7201         uschar **modetable[3];
7202         int i;
7203         mode_t mode;
7204         struct stat st;
7205
7206         if ((expand_forbid & RDO_EXISTS) != 0)
7207           {
7208           expand_string_message = US"Use of the stat() expansion is not permitted";
7209           goto EXPAND_FAILED;
7210           }
7211
7212         if (stat(CS sub, &st) < 0)
7213           {
7214           expand_string_message = string_sprintf("stat(%s) failed: %s",
7215             sub, strerror(errno));
7216           goto EXPAND_FAILED;
7217           }
7218         mode = st.st_mode;
7219         switch (mode & S_IFMT)
7220           {
7221           case S_IFIFO: smode[0] = 'p'; break;
7222           case S_IFCHR: smode[0] = 'c'; break;
7223           case S_IFDIR: smode[0] = 'd'; break;
7224           case S_IFBLK: smode[0] = 'b'; break;
7225           case S_IFREG: smode[0] = '-'; break;
7226           default: smode[0] = '?'; break;
7227           }
7228
7229         modetable[0] = ((mode & 01000) == 0)? mtable_normal : mtable_sticky;
7230         modetable[1] = ((mode & 02000) == 0)? mtable_normal : mtable_setid;
7231         modetable[2] = ((mode & 04000) == 0)? mtable_normal : mtable_setid;
7232
7233         for (i = 0; i < 3; i++)
7234           {
7235           memcpy(CS(smode + 7 - i*3), CS(modetable[i][mode & 7]), 3);
7236           mode >>= 3;
7237           }
7238
7239         smode[10] = 0;
7240         s = string_sprintf("mode=%04lo smode=%s inode=%ld device=%ld links=%ld "
7241           "uid=%ld gid=%ld size=" OFF_T_FMT " atime=%ld mtime=%ld ctime=%ld",
7242           (long)(st.st_mode & 077777), smode, (long)st.st_ino,
7243           (long)st.st_dev, (long)st.st_nlink, (long)st.st_uid,
7244           (long)st.st_gid, st.st_size, (long)st.st_atime,
7245           (long)st.st_mtime, (long)st.st_ctime);
7246         yield = string_cat(yield, &size, &ptr, s);
7247         continue;
7248         }
7249
7250       /* vaguely random number less than N */
7251
7252       case EOP_RANDINT:
7253         {
7254         int_eximarith_t max;
7255         uschar *s;
7256
7257         max = expanded_string_integer(sub, TRUE);
7258         if (expand_string_message != NULL)
7259           goto EXPAND_FAILED;
7260         s = string_sprintf("%d", vaguely_random_number((int)max));
7261         yield = string_cat(yield, &size, &ptr, s);
7262         continue;
7263         }
7264
7265       /* Reverse IP, including IPv6 to dotted-nibble */
7266
7267       case EOP_REVERSE_IP:
7268         {
7269         int family, maskptr;
7270         uschar reversed[128];
7271
7272         family = string_is_ip_address(sub, &maskptr);
7273         if (family == 0)
7274           {
7275           expand_string_message = string_sprintf(
7276               "reverse_ip() not given an IP address [%s]", sub);
7277           goto EXPAND_FAILED;
7278           }
7279         invert_address(reversed, sub);
7280         yield = string_cat(yield, &size, &ptr, reversed);
7281         continue;
7282         }
7283
7284       /* Unknown operator */
7285
7286       default:
7287       expand_string_message =
7288         string_sprintf("unknown expansion operator \"%s\"", name);
7289       goto EXPAND_FAILED;
7290       }
7291     }
7292
7293   /* Handle a plain name. If this is the first thing in the expansion, release
7294   the pre-allocated buffer. If the result data is known to be in a new buffer,
7295   newsize will be set to the size of that buffer, and we can just point at that
7296   store instead of copying. Many expansion strings contain just one reference,
7297   so this is a useful optimization, especially for humungous headers
7298   ($message_headers). */
7299                                                 /*{*/
7300   if (*s++ == '}')
7301     {
7302     int len;
7303     int newsize = 0;
7304     if (ptr == 0)
7305       {
7306       if (resetok) store_reset(yield);
7307       yield = NULL;
7308       size = 0;
7309       }
7310     value = find_variable(name, FALSE, skipping, &newsize);
7311     if (value == NULL)
7312       {
7313       expand_string_message =
7314         string_sprintf("unknown variable in \"${%s}\"", name);
7315       check_variable_error_message(name);
7316       goto EXPAND_FAILED;
7317       }
7318     len = Ustrlen(value);
7319     if (yield == NULL && newsize != 0)
7320       {
7321       yield = value;
7322       size = newsize;
7323       ptr = len;
7324       }
7325     else yield = string_catn(yield, &size, &ptr, value, len);
7326     continue;
7327     }
7328
7329   /* Else there's something wrong */
7330
7331   expand_string_message =
7332     string_sprintf("\"${%s\" is not a known operator (or a } is missing "
7333     "in a variable reference)", name);
7334   goto EXPAND_FAILED;
7335   }
7336
7337 /* If we hit the end of the string when ket_ends is set, there is a missing
7338 terminating brace. */
7339
7340 if (ket_ends && *s == 0)
7341   {
7342   expand_string_message = malformed_header?
7343     US"missing } at end of string - could be header name not terminated by colon"
7344     :
7345     US"missing } at end of string";
7346   goto EXPAND_FAILED;
7347   }
7348
7349 /* Expansion succeeded; yield may still be NULL here if nothing was actually
7350 added to the string. If so, set up an empty string. Add a terminating zero. If
7351 left != NULL, return a pointer to the terminator. */
7352
7353 if (yield == NULL) yield = store_get(1);
7354 yield[ptr] = 0;
7355 if (left != NULL) *left = s;
7356
7357 /* Any stacking store that was used above the final string is no longer needed.
7358 In many cases the final string will be the first one that was got and so there
7359 will be optimal store usage. */
7360
7361 if (resetok) store_reset(yield + ptr + 1);
7362 else if (resetok_p) *resetok_p = FALSE;
7363
7364 DEBUG(D_expand)
7365   {
7366   debug_printf("  expanding: %.*s\n     result: %s\n", (int)(s - string), string,
7367     yield);
7368   if (skipping) debug_printf("   skipping: result is not used\n");
7369   }
7370 return yield;
7371
7372 /* This is the failure exit: easiest to program with a goto. We still need
7373 to update the pointer to the terminator, for cases of nested calls with "fail".
7374 */
7375
7376 EXPAND_FAILED_CURLY:
7377 if (malformed_header)
7378   expand_string_message =
7379     US"missing or misplaced { or } - could be header name not terminated by colon";
7380
7381 else if (!expand_string_message || !*expand_string_message)
7382   expand_string_message = US"missing or misplaced { or }";
7383
7384 /* At one point, Exim reset the store to yield (if yield was not NULL), but
7385 that is a bad idea, because expand_string_message is in dynamic store. */
7386
7387 EXPAND_FAILED:
7388 if (left != NULL) *left = s;
7389 DEBUG(D_expand)
7390   {
7391   debug_printf("failed to expand: %s\n", string);
7392   debug_printf("   error message: %s\n", expand_string_message);
7393   if (expand_string_forcedfail) debug_printf("failure was forced\n");
7394   }
7395 if (resetok_p) *resetok_p = resetok;
7396 return NULL;
7397 }
7398
7399
7400 /* This is the external function call. Do a quick check for any expansion
7401 metacharacters, and if there are none, just return the input string.
7402
7403 Argument: the string to be expanded
7404 Returns:  the expanded string, or NULL if expansion failed; if failure was
7405           due to a lookup deferring, search_find_defer will be TRUE
7406 */
7407
7408 uschar *
7409 expand_string(uschar *string)
7410 {
7411 search_find_defer = FALSE;
7412 malformed_header = FALSE;
7413 return (Ustrpbrk(string, "$\\") == NULL)? string :
7414   expand_string_internal(string, FALSE, NULL, FALSE, TRUE, NULL);
7415 }
7416
7417
7418
7419 const uschar *
7420 expand_cstring(const uschar *string)
7421 {
7422 search_find_defer = FALSE;
7423 malformed_header = FALSE;
7424 return (Ustrpbrk(string, "$\\") == NULL)? string :
7425   expand_string_internal(string, FALSE, NULL, FALSE, TRUE, NULL);
7426 }
7427
7428
7429
7430 /*************************************************
7431 *              Expand and copy                   *
7432 *************************************************/
7433
7434 /* Now and again we want to expand a string and be sure that the result is in a
7435 new bit of store. This function does that.
7436 Since we know it has been copied, the de-const cast is safe.
7437
7438 Argument: the string to be expanded
7439 Returns:  the expanded string, always in a new bit of store, or NULL
7440 */
7441
7442 uschar *
7443 expand_string_copy(const uschar *string)
7444 {
7445 const uschar *yield = expand_cstring(string);
7446 if (yield == string) yield = string_copy(string);
7447 return US yield;
7448 }
7449
7450
7451
7452 /*************************************************
7453 *        Expand and interpret as an integer      *
7454 *************************************************/
7455
7456 /* Expand a string, and convert the result into an integer.
7457
7458 Arguments:
7459   string  the string to be expanded
7460   isplus  TRUE if a non-negative number is expected
7461
7462 Returns:  the integer value, or
7463           -1 for an expansion error               ) in both cases, message in
7464           -2 for an integer interpretation error  ) expand_string_message
7465           expand_string_message is set NULL for an OK integer
7466 */
7467
7468 int_eximarith_t
7469 expand_string_integer(uschar *string, BOOL isplus)
7470 {
7471 return expanded_string_integer(expand_string(string), isplus);
7472 }
7473
7474
7475 /*************************************************
7476  *         Interpret string as an integer        *
7477  *************************************************/
7478
7479 /* Convert a string (that has already been expanded) into an integer.
7480
7481 This function is used inside the expansion code.
7482
7483 Arguments:
7484   s       the string to be expanded
7485   isplus  TRUE if a non-negative number is expected
7486
7487 Returns:  the integer value, or
7488           -1 if string is NULL (which implies an expansion error)
7489           -2 for an integer interpretation error
7490           expand_string_message is set NULL for an OK integer
7491 */
7492
7493 static int_eximarith_t
7494 expanded_string_integer(const uschar *s, BOOL isplus)
7495 {
7496 int_eximarith_t value;
7497 uschar *msg = US"invalid integer \"%s\"";
7498 uschar *endptr;
7499
7500 /* If expansion failed, expand_string_message will be set. */
7501
7502 if (s == NULL) return -1;
7503
7504 /* On an overflow, strtol() returns LONG_MAX or LONG_MIN, and sets errno
7505 to ERANGE. When there isn't an overflow, errno is not changed, at least on some
7506 systems, so we set it zero ourselves. */
7507
7508 errno = 0;
7509 expand_string_message = NULL;               /* Indicates no error */
7510
7511 /* Before Exim 4.64, strings consisting entirely of whitespace compared
7512 equal to 0.  Unfortunately, people actually relied upon that, so preserve
7513 the behaviour explicitly.  Stripping leading whitespace is a harmless
7514 noop change since strtol skips it anyway (provided that there is a number
7515 to find at all). */
7516 if (isspace(*s))
7517   {
7518   while (isspace(*s)) ++s;
7519   if (*s == '\0')
7520     {
7521       DEBUG(D_expand)
7522        debug_printf("treating blank string as number 0\n");
7523       return 0;
7524     }
7525   }
7526
7527 value = strtoll(CS s, CSS &endptr, 10);
7528
7529 if (endptr == s)
7530   {
7531   msg = US"integer expected but \"%s\" found";
7532   }
7533 else if (value < 0 && isplus)
7534   {
7535   msg = US"non-negative integer expected but \"%s\" found";
7536   }
7537 else
7538   {
7539   switch (tolower(*endptr))
7540     {
7541     default:
7542       break;
7543     case 'k':
7544       if (value > EXIM_ARITH_MAX/1024 || value < EXIM_ARITH_MIN/1024) errno = ERANGE;
7545       else value *= 1024;
7546       endptr++;
7547       break;
7548     case 'm':
7549       if (value > EXIM_ARITH_MAX/(1024*1024) || value < EXIM_ARITH_MIN/(1024*1024)) errno = ERANGE;
7550       else value *= 1024*1024;
7551       endptr++;
7552       break;
7553     case 'g':
7554       if (value > EXIM_ARITH_MAX/(1024*1024*1024) || value < EXIM_ARITH_MIN/(1024*1024*1024)) errno = ERANGE;
7555       else value *= 1024*1024*1024;
7556       endptr++;
7557       break;
7558     }
7559   if (errno == ERANGE)
7560     msg = US"absolute value of integer \"%s\" is too large (overflow)";
7561   else
7562     {
7563     while (isspace(*endptr)) endptr++;
7564     if (*endptr == 0) return value;
7565     }
7566   }
7567
7568 expand_string_message = string_sprintf(CS msg, s);
7569 return -2;
7570 }
7571
7572
7573 /* These values are usually fixed boolean values, but they are permitted to be
7574 expanded strings.
7575
7576 Arguments:
7577   addr       address being routed
7578   mtype      the module type
7579   mname      the module name
7580   dbg_opt    debug selectors
7581   oname      the option name
7582   bvalue     the router's boolean value
7583   svalue     the router's string value
7584   rvalue     where to put the returned value
7585
7586 Returns:     OK     value placed in rvalue
7587              DEFER  expansion failed
7588 */
7589
7590 int
7591 exp_bool(address_item *addr,
7592   uschar *mtype, uschar *mname, unsigned dbg_opt,
7593   uschar *oname, BOOL bvalue,
7594   uschar *svalue, BOOL *rvalue)
7595 {
7596 uschar *expanded;
7597 if (svalue == NULL) { *rvalue = bvalue; return OK; }
7598
7599 expanded = expand_string(svalue);
7600 if (expanded == NULL)
7601   {
7602   if (expand_string_forcedfail)
7603     {
7604     DEBUG(dbg_opt) debug_printf("expansion of \"%s\" forced failure\n", oname);
7605     *rvalue = bvalue;
7606     return OK;
7607     }
7608   addr->message = string_sprintf("failed to expand \"%s\" in %s %s: %s",
7609       oname, mname, mtype, expand_string_message);
7610   DEBUG(dbg_opt) debug_printf("%s\n", addr->message);
7611   return DEFER;
7612   }
7613
7614 DEBUG(dbg_opt) debug_printf("expansion of \"%s\" yields \"%s\"\n", oname,
7615   expanded);
7616
7617 if (strcmpic(expanded, US"true") == 0 || strcmpic(expanded, US"yes") == 0)
7618   *rvalue = TRUE;
7619 else if (strcmpic(expanded, US"false") == 0 || strcmpic(expanded, US"no") == 0)
7620   *rvalue = FALSE;
7621 else
7622   {
7623   addr->message = string_sprintf("\"%s\" is not a valid value for the "
7624     "\"%s\" option in the %s %s", expanded, oname, mname, mtype);
7625   return DEFER;
7626   }
7627
7628 return OK;
7629 }
7630
7631
7632
7633 /* Avoid potentially exposing a password in a string about to be logged */
7634
7635 uschar *
7636 expand_hide_passwords(uschar * s)
7637 {
7638 return (  (  Ustrstr(s, "failed to expand") != NULL
7639           || Ustrstr(s, "expansion of ")    != NULL
7640           )
7641        && (  Ustrstr(s, "mysql")   != NULL
7642           || Ustrstr(s, "pgsql")   != NULL
7643           || Ustrstr(s, "redis")   != NULL
7644           || Ustrstr(s, "sqlite")  != NULL
7645           || Ustrstr(s, "ldap:")   != NULL
7646           || Ustrstr(s, "ldaps:")  != NULL
7647           || Ustrstr(s, "ldapi:")  != NULL
7648           || Ustrstr(s, "ldapdn:") != NULL
7649           || Ustrstr(s, "ldapm:")  != NULL
7650        )  )
7651   ? US"Temporary internal error" : s;
7652 }
7653
7654
7655
7656
7657 /*************************************************
7658 **************************************************
7659 *             Stand-alone test program           *
7660 **************************************************
7661 *************************************************/
7662
7663 #ifdef STAND_ALONE
7664
7665
7666 BOOL
7667 regex_match_and_setup(const pcre *re, uschar *subject, int options, int setup)
7668 {
7669 int ovector[3*(EXPAND_MAXN+1)];
7670 int n = pcre_exec(re, NULL, subject, Ustrlen(subject), 0, PCRE_EOPT|options,
7671   ovector, nelem(ovector));
7672 BOOL yield = n >= 0;
7673 if (n == 0) n = EXPAND_MAXN + 1;
7674 if (yield)
7675   {
7676   int nn;
7677   expand_nmax = (setup < 0)? 0 : setup + 1;
7678   for (nn = (setup < 0)? 0 : 2; nn < n*2; nn += 2)
7679     {
7680     expand_nstring[expand_nmax] = subject + ovector[nn];
7681     expand_nlength[expand_nmax++] = ovector[nn+1] - ovector[nn];
7682     }
7683   expand_nmax--;
7684   }
7685 return yield;
7686 }
7687
7688
7689 int main(int argc, uschar **argv)
7690 {
7691 int i;
7692 uschar buffer[1024];
7693
7694 debug_selector = D_v;
7695 debug_file = stderr;
7696 debug_fd = fileno(debug_file);
7697 big_buffer = malloc(big_buffer_size);
7698
7699 for (i = 1; i < argc; i++)
7700   {
7701   if (argv[i][0] == '+')
7702     {
7703     debug_trace_memory = 2;
7704     argv[i]++;
7705     }
7706   if (isdigit(argv[i][0]))
7707     debug_selector = Ustrtol(argv[i], NULL, 0);
7708   else
7709     if (Ustrspn(argv[i], "abcdefghijklmnopqrtsuvwxyz0123456789-.:/") ==
7710         Ustrlen(argv[i]))
7711       {
7712 #ifdef LOOKUP_LDAP
7713       eldap_default_servers = argv[i];
7714 #endif
7715 #ifdef LOOKUP_MYSQL
7716       mysql_servers = argv[i];
7717 #endif
7718 #ifdef LOOKUP_PGSQL
7719       pgsql_servers = argv[i];
7720 #endif
7721 #ifdef LOOKUP_REDIS
7722       redis_servers = argv[i];
7723 #endif
7724       }
7725 #ifdef EXIM_PERL
7726   else opt_perl_startup = argv[i];
7727 #endif
7728   }
7729
7730 printf("Testing string expansion: debug_level = %d\n\n", debug_level);
7731
7732 expand_nstring[1] = US"string 1....";
7733 expand_nlength[1] = 8;
7734 expand_nmax = 1;
7735
7736 #ifdef EXIM_PERL
7737 if (opt_perl_startup != NULL)
7738   {
7739   uschar *errstr;
7740   printf("Starting Perl interpreter\n");
7741   errstr = init_perl(opt_perl_startup);
7742   if (errstr != NULL)
7743     {
7744     printf("** error in perl_startup code: %s\n", errstr);
7745     return EXIT_FAILURE;
7746     }
7747   }
7748 #endif /* EXIM_PERL */
7749
7750 while (fgets(buffer, sizeof(buffer), stdin) != NULL)
7751   {
7752   void *reset_point = store_get(0);
7753   uschar *yield = expand_string(buffer);
7754   if (yield != NULL)
7755     {
7756     printf("%s\n", yield);
7757     store_reset(reset_point);
7758     }
7759   else
7760     {
7761     if (search_find_defer) printf("search_find deferred\n");
7762     printf("Failed: %s\n", expand_string_message);
7763     if (expand_string_forcedfail) printf("Forced failure\n");
7764     printf("\n");
7765     }
7766   }
7767
7768 search_tidyup();
7769
7770 return 0;
7771 }
7772
7773 #endif
7774
7775 /* vi: aw ai sw=2
7776 */
7777 /* End of expand.c */