src/src/lookups/mysql.c

   1 /*************************************************
   2 *     Exim - an Internet mail transport agent    *
   3 *************************************************/
   4
   5 /* Copyright (c) University of Cambridge 1995 - 2018 */
   6 /* See the file NOTICE for conditions of use and distribution. */
   7
   8 /* Thanks to Paul Kelly for contributing the original code for these
   9 functions. */
  10
  11
  12 #include "../exim.h"
  13 #include "lf_functions.h"
  14
  15 #include <mysql.h>       /* The system header */
  16
  17 /* We define symbols for *_VERSION_ID (numeric), *_VERSION_STR (char*)
  18 and *_BASE_STR (char*). It's a bit of guesswork. Especially for mariadb
  19 with versions before 10.2, as they do not define there there specific symbols.
  20 */
  21
  22 /* Newer (>= 10.2) MariaDB */
  23 #if defined                   MARIADB_VERSION_ID
  24 #define EXIM_MxSQL_VERSION_ID MARIADB_VERSION_ID
  25
  26 /* MySQL defines MYSQL_VERSION_ID, and MariaDB does so */
  27 /* https://dev.mysql.com/doc/refman/5.7/en/c-api-server-client-versions.html */
  28 #elif defined                 LIBMYSQL_VERSION_ID
  29 #define EXIM_MxSQL_VERSION_ID LIBMYSQL_VERSION_ID
  30 #elif defined                 MYSQL_VERSION_ID
  31 #define EXIM_MxSQL_VERSION_ID MYSQL_VERSION_ID
  32
  33 #else
  34 #define EXIM_MYSQL_VERSION_ID  0
  35 #endif
  36
  37 /* Newer (>= 10.2) MariaDB */
  38 #ifdef                         MARIADB_CLIENT_VERSION_STR
  39 #define EXIM_MxSQL_VERSION_STR MARIADB_CLIENT_VERSION_STR
  40
  41 /* Mysql uses MYSQL_SERVER_VERSION */
  42 #elif defined                  LIBMYSQL_VERSION
  43 #define EXIM_MxSQL_VERSION_STR LIBMYSQL_VERSION
  44 #elif defined                  MYSQL_SERVER_VERSION
  45 #define EXIM_MxSQL_VERSION_STR MYSQL_SERVER_VERSION
  46
  47 #else
  48 #define EXIM_MxSQL_VERSION_STR  "unknown"
  49 #endif
  50
  51 #if defined                 MARIADB_BASE_VERSION
  52 #define EXIM_MxSQL_BASE_STR MARIADB_BASE_VERSION
  53
  54 #elif defined               MARIADB_PACKAGE_VERSION
  55 #define EXIM_MxSQL_BASE_STR "mariadb"
  56
  57 #elif defined               MYSQL_BASE_VERSION
  58 #define EXIM_MxSQL_BASE_STR MYSQL_BASE_VERSION
  59
  60 #else
  61 #define EXIM_MxSQL_BASE_STR  "n.A."
  62 #endif
  63
  64
  65 /* Structure and anchor for caching connections. */
  66
  67 typedef struct mysql_connection {
  68   struct mysql_connection *next;
  69   uschar  *server;
  70   MYSQL *handle;
  71 } mysql_connection;
  72
  73 static mysql_connection *mysql_connections = NULL;
  74
  75
  76
  77 /*************************************************
  78 *              Open entry point                  *
  79 *************************************************/
  80
  81 /* See local README for interface description. */
  82
  83 static void *
  84 mysql_open(const uschar * filename, uschar ** errmsg)
  85 {
  86 return (void *)(1);    /* Just return something non-null */
  87 }
  88
  89
  90
  91 /*************************************************
  92 *               Tidy entry point                 *
  93 *************************************************/
  94
  95 /* See local README for interface description. */
  96
  97 static void
  98 mysql_tidy(void)
  99 {
 100 mysql_connection *cn;
 101 while ((cn = mysql_connections) != NULL)
 102   {
 103   mysql_connections = cn->next;
 104   DEBUG(D_lookup) debug_printf_indent("close MYSQL connection: %s\n", cn->server);
 105   mysql_close(cn->handle);
 106   }
 107 }
 108
 109
 110
 111 /*************************************************
 112 *        Internal search function                *
 113 *************************************************/
 114
 115 /* This function is called from the find entry point to do the search for a
 116 single server.
 117
 118 Arguments:
 119   query        the query string
 120   server       the server string
 121   resultptr    where to store the result
 122   errmsg       where to point an error message
 123   defer_break  TRUE if no more servers are to be tried after DEFER
 124   do_cache     set zero if data is changed
 125   opts         options
 126
 127 The server string is of the form "host/dbname/user/password". The host can be
 128 host:port. This string is in a nextinlist temporary buffer, so can be
 129 overwritten.
 130
 131 Returns:       OK, FAIL, or DEFER
 132 */
 133
 134 static int
 135 perform_mysql_search(const uschar *query, uschar *server, uschar **resultptr,
 136   uschar **errmsg, BOOL *defer_break, uint *do_cache, const uschar * opts)
 137 {
 138 MYSQL *mysql_handle = NULL;        /* Keep compilers happy */
 139 MYSQL_RES *mysql_result = NULL;
 140 MYSQL_ROW mysql_row_data;
 141 MYSQL_FIELD *fields;
 142
 143 int i;
 144 int yield = DEFER;
 145 unsigned int num_fields;
 146 gstring * result = NULL;
 147 mysql_connection *cn;
 148 uschar *server_copy = NULL;
 149 uschar *sdata[4];
 150
 151 /* Disaggregate the parameters from the server argument. The order is host,
 152 database, user, password. We can write to the string, since it is in a
 153 nextinlist temporary buffer. The copy of the string that is used for caching
 154 has the password removed. This copy is also used for debugging output. */
 155
 156 for (int i = 3; i > 0; i--)
 157   {
 158   uschar *pp = Ustrrchr(server, '/');
 159   if (!pp)
 160     {
 161     *errmsg = string_sprintf("incomplete MySQL server data: %s",
 162       (i == 3)? server : server_copy);
 163     *defer_break = TRUE;
 164     return DEFER;
 165     }
 166   *pp++ = 0;
 167   sdata[i] = pp;
 168   if (i == 3) server_copy = string_copy(server);  /* sans password */
 169   }
 170 sdata[0] = server;   /* What's left at the start */
 171
 172 /* See if we have a cached connection to the server */
 173
 174 for (cn = mysql_connections; cn; cn = cn->next)
 175   if (Ustrcmp(cn->server, server_copy) == 0)
 176     { mysql_handle = cn->handle; break; }
 177
 178 /* If no cached connection, we must set one up. Mysql allows for a host name
 179 and port to be specified. It also allows the name of a Unix socket to be used.
 180 Unfortunately, this contains slashes, but its use is expected to be rare, so
 181 the rather cumbersome syntax shouldn't inconvenience too many people. We use
 182 this:  host:port(socket)[group]  where all the parts are optional.
 183 The "group" parameter specifies an option group from a MySQL option file. */
 184
 185 if (!cn)
 186   {
 187   uschar *p;
 188   uschar *socket = NULL;
 189   int port = 0;
 190   uschar *group = US"exim";
 191
 192   if ((p = Ustrchr(sdata[0], '[')))
 193     {
 194     *p++ = 0;
 195     group = p;
 196     while (*p && *p != ']') p++;
 197     *p = 0;
 198     }
 199
 200   if ((p = Ustrchr(sdata[0], '(')))
 201     {
 202     *p++ = 0;
 203     socket = p;
 204     while (*p && *p != ')') p++;
 205     *p = 0;
 206     }
 207
 208   if ((p = Ustrchr(sdata[0], ':')))
 209     {
 210     *p++ = 0;
 211     port = Uatoi(p);
 212     }
 213
 214   if (Ustrchr(sdata[0], '/'))
 215     {
 216     *errmsg = string_sprintf("unexpected slash in MySQL server hostname: %s",
 217       sdata[0]);
 218     *defer_break = TRUE;
 219     return DEFER;
 220     }
 221
 222   /* If the database is the empty string, set it NULL - the query must then
 223   define it. */
 224
 225   if (sdata[1][0] == 0) sdata[1] = NULL;
 226
 227   DEBUG(D_lookup)
 228     debug_printf_indent("MYSQL new connection: host=%s port=%d socket=%s "
 229       "database=%s user=%s\n", sdata[0], port, socket, sdata[1], sdata[2]);
 230
 231   /* Get store for a new handle, initialize it, and connect to the server */
 232
 233   mysql_handle = store_get(sizeof(MYSQL), FALSE);
 234   mysql_init(mysql_handle);
 235   mysql_options(mysql_handle, MYSQL_READ_DEFAULT_GROUP, CS group);
 236   if (mysql_real_connect(mysql_handle,
 237       /*  host        user         passwd     database */
 238       CS sdata[0], CS sdata[2], CS sdata[3], CS sdata[1],
 239       port, CS socket, CLIENT_MULTI_RESULTS) == NULL)
 240     {
 241     *errmsg = string_sprintf("MYSQL connection failed: %s",
 242       mysql_error(mysql_handle));
 243     *defer_break = FALSE;
 244     goto MYSQL_EXIT;
 245     }
 246
 247   /* Add the connection to the cache */
 248
 249   cn = store_get(sizeof(mysql_connection), FALSE);
 250   cn->server = server_copy;
 251   cn->handle = mysql_handle;
 252   cn->next = mysql_connections;
 253   mysql_connections = cn;
 254   }
 255
 256 /* Else use a previously cached connection */
 257
 258 else
 259   {
 260   DEBUG(D_lookup)
 261     debug_printf_indent("MYSQL using cached connection for %s\n", server_copy);
 262   }
 263
 264 /* Run the query */
 265
 266 if (mysql_query(mysql_handle, CS query) != 0)
 267   {
 268   *errmsg = string_sprintf("MYSQL: query failed: %s\n",
 269     mysql_error(mysql_handle));
 270   *defer_break = FALSE;
 271   goto MYSQL_EXIT;
 272   }
 273
 274 /* Pick up the result. If the query was not of the type that returns data,
 275 namely INSERT, UPDATE, or DELETE, an error occurs here. However, this situation
 276 can be detected by calling mysql_field_count(). If its result is zero, no data
 277 was expected (this is all explained clearly in the MySQL manual). In this case,
 278 we return the number of rows affected by the command. In this event, we do NOT
 279 want to cache the result; also the whole cache for the handle must be cleaned
 280 up. Setting do_cache zero requests this. */
 281
 282 if (!(mysql_result = mysql_use_result(mysql_handle)))
 283   {
 284   if (mysql_field_count(mysql_handle) == 0)
 285     {
 286     DEBUG(D_lookup) debug_printf_indent("MYSQL: query was not one that returns data\n");
 287     result = string_cat(result,
 288                string_sprintf("%d", mysql_affected_rows(mysql_handle)));
 289     *do_cache = 0;
 290     goto MYSQL_EXIT;
 291     }
 292   *errmsg = string_sprintf("MYSQL: lookup result failed: %s\n",
 293     mysql_error(mysql_handle));
 294   *defer_break = FALSE;
 295   goto MYSQL_EXIT;
 296   }
 297
 298 /* Find the number of fields returned. If this is one, we don't add field
 299 names to the data. Otherwise we do. */
 300
 301 num_fields = mysql_num_fields(mysql_result);
 302
 303 /* Get the fields and construct the result string. If there is more than one
 304 row, we insert '\n' between them. */
 305
 306 fields = mysql_fetch_fields(mysql_result);
 307
 308 while ((mysql_row_data = mysql_fetch_row(mysql_result)))
 309   {
 310   unsigned long *lengths = mysql_fetch_lengths(mysql_result);
 311
 312   if (result)
 313     result = string_catn(result, US"\n", 1);
 314
 315   if (num_fields != 1)
 316     for (int i = 0; i < num_fields; i++)
 317       result = lf_quote(US fields[i].name, US mysql_row_data[i], lengths[i],
 318                         result);
 319
 320   else if (mysql_row_data[0] != NULL)    /* NULL value yields nothing */
 321       result = string_catn(result, US mysql_row_data[0], lengths[0]);
 322   }
 323
 324 /* more results? -1 = no, >0 = error, 0 = yes (keep looping)
 325    This is needed because of the CLIENT_MULTI_RESULTS on mysql_real_connect(),
 326    we don't expect any more results. */
 327
 328 while((i = mysql_next_result(mysql_handle)) >= 0)
 329   if(i != 0)
 330     {
 331     *errmsg = string_sprintf(
 332           "MYSQL: lookup result error when checking for more results: %s\n",
 333           mysql_error(mysql_handle));
 334     goto MYSQL_EXIT;
 335     }
 336   else  /* just ignore more results */
 337     DEBUG(D_lookup) debug_printf_indent("MYSQL: got unexpected more results\n");
 338
 339 /* If result is NULL then no data has been found and so we return FAIL.
 340 Otherwise, we must terminate the string which has been built; string_cat()
 341 always leaves enough room for a terminating zero. */
 342
 343 if (!result)
 344   {
 345   yield = FAIL;
 346   *errmsg = US"MYSQL: no data found";
 347   }
 348
 349 /* Get here by goto from various error checks and from the case where no data
 350 was read (e.g. an update query). */
 351
 352 MYSQL_EXIT:
 353
 354 /* Free mysal store for any result that was got; don't close the connection, as
 355 it is cached. */
 356
 357 if (mysql_result) mysql_free_result(mysql_result);
 358
 359 /* Non-NULL result indicates a successful result */
 360
 361 if (result)
 362   {
 363   *resultptr = string_from_gstring(result);
 364   gstring_release_unused(result);
 365   return OK;
 366   }
 367 else
 368   {
 369   DEBUG(D_lookup) debug_printf_indent("%s\n", *errmsg);
 370   return yield;      /* FAIL or DEFER */
 371   }
 372 }
 373
 374
 375
 376
 377 /*************************************************
 378 *               Find entry point                 *
 379 *************************************************/
 380
 381 /* See local README for interface description. The handle and filename
 382 arguments are not used. The code to loop through a list of servers while the
 383 query is deferred with a retryable error is now in a separate function that is
 384 shared with other SQL lookups. */
 385
 386 static int
 387 mysql_find(void * handle, const uschar * filename, const uschar * query,
 388   int length, uschar ** result, uschar ** errmsg, uint * do_cache,
 389   const uschar * opts)
 390 {
 391 return lf_sqlperform(US"MySQL", US"mysql_servers", mysql_servers, query,
 392   result, errmsg, do_cache, opts, perform_mysql_search);
 393 }
 394
 395
 396
 397 /*************************************************
 398 *               Quote entry point                *
 399 *************************************************/
 400
 401 /* The only characters that need to be quoted (with backslash) are newline,
 402 tab, carriage return, backspace, backslash itself, and the quote characters.
 403 Percent, and underscore and not escaped. They are only special in contexts
 404 where they can be wild cards, and this isn't usually the case for data inserted
 405 from messages, since that isn't likely to be treated as a pattern of any kind.
 406 Sadly, MySQL doesn't seem to behave like other programs. If you use something
 407 like "where id="ab\%cd" it does not treat the string as "ab%cd". So you really
 408 can't quote "on spec".
 409
 410 Arguments:
 411   s          the string to be quoted
 412   opt        additional option text or NULL if none
 413
 414 Returns:     the processed string or NULL for a bad option
 415 */
 416
 417 static uschar *
 418 mysql_quote(uschar *s, uschar *opt)
 419 {
 420 register int c;
 421 int count = 0;
 422 uschar *t = s;
 423 uschar *quoted;
 424
 425 if (opt != NULL) return NULL;     /* No options recognized */
 426
 427 while ((c = *t++) != 0)
 428   if (Ustrchr("\n\t\r\b\'\"\\", c) != NULL) count++;
 429
 430 if (count == 0) return s;
 431 t = quoted = store_get(Ustrlen(s) + count + 1, is_tainted(s));
 432
 433 while ((c = *s++) != 0)
 434   {
 435   if (Ustrchr("\n\t\r\b\'\"\\", c) != NULL)
 436     {
 437     *t++ = '\\';
 438     switch(c)
 439       {
 440       case '\n': *t++ = 'n';
 441       break;
 442       case '\t': *t++ = 't';
 443       break;
 444       case '\r': *t++ = 'r';
 445       break;
 446       case '\b': *t++ = 'b';
 447       break;
 448       default:   *t++ = c;
 449       break;
 450       }
 451     }
 452   else *t++ = c;
 453   }
 454
 455 *t = 0;
 456 return quoted;
 457 }
 458
 459
 460 /*************************************************
 461 *         Version reporting entry point          *
 462 *************************************************/
 463
 464 /* See local README for interface description. */
 465
 466 #include "../version.h"
 467
 468 void
 469 mysql_version_report(FILE *f)
 470 {
 471 fprintf(f, "Library version: MySQL: Compile: %lu %s [%s]\n"
 472            "                        Runtime: %lu %s\n",
 473         (long)EXIM_MxSQL_VERSION_ID, EXIM_MxSQL_VERSION_STR, EXIM_MxSQL_BASE_STR,
 474         mysql_get_client_version(), mysql_get_client_info());
 475 #ifdef DYNLOOKUP
 476 fprintf(f, "                        Exim version %s\n", EXIM_VERSION_STR);
 477 #endif
 478 }
 479
 480 /* These are the lookup_info blocks for this driver */
 481
 482 static lookup_info mysql_lookup_info = {
 483   .name = US"mysql",                    /* lookup name */
 484   .type = lookup_querystyle,            /* query-style lookup */
 485   .open = mysql_open,                   /* open function */
 486   .check = NULL,                        /* no check function */
 487   .find = mysql_find,                   /* find function */
 488   .close = NULL,                        /* no close function */
 489   .tidy = mysql_tidy,                   /* tidy function */
 490   .quote = mysql_quote,                 /* quoting function */
 491   .version_report = mysql_version_report           /* version reporting */
 492 };
 493
 494 #ifdef DYNLOOKUP
 495 #define mysql_lookup_module_info _lookup_module_info
 496 #endif
 497
 498 static lookup_info *_lookup_list[] = { &mysql_lookup_info };
 499 lookup_module_info mysql_lookup_module_info = { LOOKUP_MODULE_INFO_MAGIC, _lookup_list, 1 };
 500
 501 /* End of lookups/mysql.c */