19abdeb60a3ca234fa9b78cfed3aab86b5de3e3a
[exim.git] / src / src / lookups / mysql.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2015 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Thanks to Paul Kelly for contributing the original code for these
9 functions. */
10
11
12 #include "../exim.h"
13 #include "lf_functions.h"
14
15 #include <mysql.h>       /* The system header */
16
17 /* We define symbols for *_VERSION_ID (numeric), *_VERSION_STR (char*)
18 and *_BASE_STR (char*). It's a bit of guesswork. Especially for mariadb
19 with versions before 10.2, as they do not define there there specific symbols.
20 */
21
22 /* Newer (>= 10.2) MariaDB */
23 #if defined                   MARIADB_VERSION_ID
24 #define EXIM_MxSQL_VERSION_ID MARIADB_VERSION_ID
25
26 /* MySQL defines MYSQL_VERSION_ID, and MariaDB does so */
27 /* https://dev.mysql.com/doc/refman/5.7/en/c-api-server-client-versions.html */
28 #elif defined                 LIBMYSQL_VERSION_ID
29 #define EXIM_MxSQL_VERSION_ID LIBMYSQL_VERSION_ID
30 #elif defined                 MYSQL_VERSION_ID
31 #define EXIM_MxSQL_VERSION_ID MYSQL_VERSION_ID
32
33 #else
34 #define EXIM_MYSQL_VERSION_ID  0
35 #endif
36
37 /* Newer (>= 10.2) MariaDB */
38 #ifdef                         MARIADB_CLIENT_VERSION_STR
39 #define EXIM_MxSQL_VERSION_STR MARIADB_CLIENT_VERSION_STR
40
41 /* Mysql uses MYSQL_SERVER_VERSION */
42 #elif defined                  LIBMYSQL_VERSION
43 #define EXIM_MxSQL_VERSION_STR LIBMYSQL_VERSION
44 #elif defined                  MYSQL_SERVER_VERSION
45 #define EXIM_MxSQL_VERSION_STR MYSQL_SERVER_VERSION
46
47 #else
48 #define EXIM_MxSQL_VERSION_STR  "unknown"
49 #endif
50
51 #if defined                 MARIADB_BASE_VERSION
52 #define EXIM_MxSQL_BASE_STR MARIADB_BASE_VERSION
53
54 #elif defined               MARIADB_PACKAGE_VERSION
55 #define EXIM_MxSQL_BASE_STR "mariadb"
56
57 #elif defined               MYSQL_BASE_VERSION
58 #define EXIM_MxSQL_BASE_STR MYSQL_BASE_VERSION
59
60 #else
61 #define EXIM_MxSQL_BASE_STR  "n.A."
62 #endif
63
64
65 /* Structure and anchor for caching connections. */
66
67 typedef struct mysql_connection {
68   struct mysql_connection *next;
69   uschar  *server;
70   MYSQL *handle;
71 } mysql_connection;
72
73 static mysql_connection *mysql_connections = NULL;
74
75
76
77 /*************************************************
78 *              Open entry point                  *
79 *************************************************/
80
81 /* See local README for interface description. */
82
83 static void *
84 mysql_open(uschar *filename, uschar **errmsg)
85 {
86 return (void *)(1);    /* Just return something non-null */
87 }
88
89
90
91 /*************************************************
92 *               Tidy entry point                 *
93 *************************************************/
94
95 /* See local README for interface description. */
96
97 static void
98 mysql_tidy(void)
99 {
100 mysql_connection *cn;
101 while ((cn = mysql_connections) != NULL)
102   {
103   mysql_connections = cn->next;
104   DEBUG(D_lookup) debug_printf("close MYSQL connection: %s\n", cn->server);
105   mysql_close(cn->handle);
106   }
107 }
108
109
110
111 /*************************************************
112 *        Internal search function                *
113 *************************************************/
114
115 /* This function is called from the find entry point to do the search for a
116 single server.
117
118 Arguments:
119   query        the query string
120   server       the server string
121   resultptr    where to store the result
122   errmsg       where to point an error message
123   defer_break  TRUE if no more servers are to be tried after DEFER
124   do_cache     set zero if data is changed
125
126 The server string is of the form "host/dbname/user/password". The host can be
127 host:port. This string is in a nextinlist temporary buffer, so can be
128 overwritten.
129
130 Returns:       OK, FAIL, or DEFER
131 */
132
133 static int
134 perform_mysql_search(const uschar *query, uschar *server, uschar **resultptr,
135   uschar **errmsg, BOOL *defer_break, uint *do_cache)
136 {
137 MYSQL *mysql_handle = NULL;        /* Keep compilers happy */
138 MYSQL_RES *mysql_result = NULL;
139 MYSQL_ROW mysql_row_data;
140 MYSQL_FIELD *fields;
141
142 int i;
143 int yield = DEFER;
144 unsigned int num_fields;
145 gstring * result = NULL;
146 mysql_connection *cn;
147 uschar *server_copy = NULL;
148 uschar *sdata[4];
149
150 /* Disaggregate the parameters from the server argument. The order is host,
151 database, user, password. We can write to the string, since it is in a
152 nextinlist temporary buffer. The copy of the string that is used for caching
153 has the password removed. This copy is also used for debugging output. */
154
155 for (i = 3; i > 0; i--)
156   {
157   uschar *pp = Ustrrchr(server, '/');
158   if (pp == NULL)
159     {
160     *errmsg = string_sprintf("incomplete MySQL server data: %s",
161       (i == 3)? server : server_copy);
162     *defer_break = TRUE;
163     return DEFER;
164     }
165   *pp++ = 0;
166   sdata[i] = pp;
167   if (i == 3) server_copy = string_copy(server);  /* sans password */
168   }
169 sdata[0] = server;   /* What's left at the start */
170
171 /* See if we have a cached connection to the server */
172
173 for (cn = mysql_connections; cn; cn = cn->next)
174   if (Ustrcmp(cn->server, server_copy) == 0)
175     {
176     mysql_handle = cn->handle;
177     break;
178     }
179
180 /* If no cached connection, we must set one up. Mysql allows for a host name
181 and port to be specified. It also allows the name of a Unix socket to be used.
182 Unfortunately, this contains slashes, but its use is expected to be rare, so
183 the rather cumbersome syntax shouldn't inconvenience too many people. We use
184 this:  host:port(socket)[group]  where all the parts are optional.
185 The "group" parameter specifies an option group from a MySQL option file. */
186
187 if (!cn)
188   {
189   uschar *p;
190   uschar *socket = NULL;
191   int port = 0;
192   uschar *group = US"exim";
193
194   if ((p = Ustrchr(sdata[0], '[')))
195     {
196     *p++ = 0;
197     group = p;
198     while (*p && *p != ']') p++;
199     *p = 0;
200     }
201
202   if ((p = Ustrchr(sdata[0], '(')))
203     {
204     *p++ = 0;
205     socket = p;
206     while (*p && *p != ')') p++;
207     *p = 0;
208     }
209
210   if ((p = Ustrchr(sdata[0], ':')))
211     {
212     *p++ = 0;
213     port = Uatoi(p);
214     }
215
216   if (Ustrchr(sdata[0], '/'))
217     {
218     *errmsg = string_sprintf("unexpected slash in MySQL server hostname: %s",
219       sdata[0]);
220     *defer_break = TRUE;
221     return DEFER;
222     }
223
224   /* If the database is the empty string, set it NULL - the query must then
225   define it. */
226
227   if (sdata[1][0] == 0) sdata[1] = NULL;
228
229   DEBUG(D_lookup)
230     debug_printf("MYSQL new connection: host=%s port=%d socket=%s "
231       "database=%s user=%s\n", sdata[0], port, socket, sdata[1], sdata[2]);
232
233   /* Get store for a new handle, initialize it, and connect to the server */
234
235   mysql_handle = store_get(sizeof(MYSQL));
236   mysql_init(mysql_handle);
237   mysql_options(mysql_handle, MYSQL_READ_DEFAULT_GROUP, CS group);
238   if (mysql_real_connect(mysql_handle,
239       /*  host        user         passwd     database */
240       CS sdata[0], CS sdata[2], CS sdata[3], CS sdata[1],
241       port, CS socket, CLIENT_MULTI_RESULTS) == NULL)
242     {
243     *errmsg = string_sprintf("MYSQL connection failed: %s",
244       mysql_error(mysql_handle));
245     *defer_break = FALSE;
246     goto MYSQL_EXIT;
247     }
248
249   /* Add the connection to the cache */
250
251   cn = store_get(sizeof(mysql_connection));
252   cn->server = server_copy;
253   cn->handle = mysql_handle;
254   cn->next = mysql_connections;
255   mysql_connections = cn;
256   }
257
258 /* Else use a previously cached connection */
259
260 else
261   {
262   DEBUG(D_lookup)
263     debug_printf("MYSQL using cached connection for %s\n", server_copy);
264   }
265
266 /* Run the query */
267
268 if (mysql_query(mysql_handle, CS query) != 0)
269   {
270   *errmsg = string_sprintf("MYSQL: query failed: %s\n",
271     mysql_error(mysql_handle));
272   *defer_break = FALSE;
273   goto MYSQL_EXIT;
274   }
275
276 /* Pick up the result. If the query was not of the type that returns data,
277 namely INSERT, UPDATE, or DELETE, an error occurs here. However, this situation
278 can be detected by calling mysql_field_count(). If its result is zero, no data
279 was expected (this is all explained clearly in the MySQL manual). In this case,
280 we return the number of rows affected by the command. In this event, we do NOT
281 want to cache the result; also the whole cache for the handle must be cleaned
282 up. Setting do_cache zero requests this. */
283
284 if ((mysql_result = mysql_use_result(mysql_handle)) == NULL)
285   {
286   if ( mysql_field_count(mysql_handle) == 0 )
287     {
288     DEBUG(D_lookup) debug_printf("MYSQL: query was not one that returns data\n");
289     result = string_cat(result,
290                string_sprintf("%d", mysql_affected_rows(mysql_handle)));
291     *do_cache = 0;
292     goto MYSQL_EXIT;
293     }
294   *errmsg = string_sprintf("MYSQL: lookup result failed: %s\n",
295     mysql_error(mysql_handle));
296   *defer_break = FALSE;
297   goto MYSQL_EXIT;
298   }
299
300 /* Find the number of fields returned. If this is one, we don't add field
301 names to the data. Otherwise we do. */
302
303 num_fields = mysql_num_fields(mysql_result);
304
305 /* Get the fields and construct the result string. If there is more than one
306 row, we insert '\n' between them. */
307
308 fields = mysql_fetch_fields(mysql_result);
309
310 while ((mysql_row_data = mysql_fetch_row(mysql_result)))
311   {
312   unsigned long *lengths = mysql_fetch_lengths(mysql_result);
313
314   if (result)
315     result = string_catn(result, US"\n", 1);
316
317   if (num_fields == 1)
318     {
319     if (mysql_row_data[0] != NULL)    /* NULL value yields nothing */
320       {
321       result = string_catn(result, US mysql_row_data[0],
322         lengths[0]);
323       (void) string_from_gstring(result);
324       }
325     }
326
327   else for (i = 0; i < num_fields; i++)
328     result = lf_quote(US fields[i].name, US mysql_row_data[i], lengths[i], result);
329   }
330
331 /* more results? -1 = no, >0 = error, 0 = yes (keep looping)
332    This is needed because of the CLIENT_MULTI_RESULTS on mysql_real_connect(),
333    we don't expect any more results. */
334
335 while((i = mysql_next_result(mysql_handle)) >= 0) {
336    if(i == 0) {   /* Just ignore more results */
337      DEBUG(D_lookup) debug_printf("MYSQL: got unexpected more results\n");
338      continue;
339    }
340
341    *errmsg = string_sprintf("MYSQL: lookup result error when checking for more results: %s\n",
342        mysql_error(mysql_handle));
343    goto MYSQL_EXIT;
344 }
345
346 /* If result is NULL then no data has been found and so we return FAIL.
347 Otherwise, we must terminate the string which has been built; string_cat()
348 always leaves enough room for a terminating zero. */
349
350 if (!result)
351   {
352   yield = FAIL;
353   *errmsg = US"MYSQL: no data found";
354   }
355 else
356   {
357   (void) string_from_gstring(result);
358   store_reset(result->s + result->ptr + 1);
359   }
360
361 /* Get here by goto from various error checks and from the case where no data
362 was read (e.g. an update query). */
363
364 MYSQL_EXIT:
365
366 /* Free mysal store for any result that was got; don't close the connection, as
367 it is cached. */
368
369 if (mysql_result) mysql_free_result(mysql_result);
370
371 /* Non-NULL result indicates a successful result */
372
373 if (result)
374   {
375   *resultptr = result->s;
376   return OK;
377   }
378 else
379   {
380   DEBUG(D_lookup) debug_printf("%s\n", *errmsg);
381   return yield;      /* FAIL or DEFER */
382   }
383 }
384
385
386
387
388 /*************************************************
389 *               Find entry point                 *
390 *************************************************/
391
392 /* See local README for interface description. The handle and filename
393 arguments are not used. The code to loop through a list of servers while the
394 query is deferred with a retryable error is now in a separate function that is
395 shared with other SQL lookups. */
396
397 static int
398 mysql_find(void *handle, uschar *filename, const uschar *query, int length,
399   uschar **result, uschar **errmsg, uint *do_cache)
400 {
401 return lf_sqlperform(US"MySQL", US"mysql_servers", mysql_servers, query,
402   result, errmsg, do_cache, perform_mysql_search);
403 }
404
405
406
407 /*************************************************
408 *               Quote entry point                *
409 *************************************************/
410
411 /* The only characters that need to be quoted (with backslash) are newline,
412 tab, carriage return, backspace, backslash itself, and the quote characters.
413 Percent, and underscore and not escaped. They are only special in contexts
414 where they can be wild cards, and this isn't usually the case for data inserted
415 from messages, since that isn't likely to be treated as a pattern of any kind.
416 Sadly, MySQL doesn't seem to behave like other programs. If you use something
417 like "where id="ab\%cd" it does not treat the string as "ab%cd". So you really
418 can't quote "on spec".
419
420 Arguments:
421   s          the string to be quoted
422   opt        additional option text or NULL if none
423
424 Returns:     the processed string or NULL for a bad option
425 */
426
427 static uschar *
428 mysql_quote(uschar *s, uschar *opt)
429 {
430 register int c;
431 int count = 0;
432 uschar *t = s;
433 uschar *quoted;
434
435 if (opt != NULL) return NULL;     /* No options recognized */
436
437 while ((c = *t++) != 0)
438   if (Ustrchr("\n\t\r\b\'\"\\", c) != NULL) count++;
439
440 if (count == 0) return s;
441 t = quoted = store_get(Ustrlen(s) + count + 1);
442
443 while ((c = *s++) != 0)
444   {
445   if (Ustrchr("\n\t\r\b\'\"\\", c) != NULL)
446     {
447     *t++ = '\\';
448     switch(c)
449       {
450       case '\n': *t++ = 'n';
451       break;
452       case '\t': *t++ = 't';
453       break;
454       case '\r': *t++ = 'r';
455       break;
456       case '\b': *t++ = 'b';
457       break;
458       default:   *t++ = c;
459       break;
460       }
461     }
462   else *t++ = c;
463   }
464
465 *t = 0;
466 return quoted;
467 }
468
469
470 /*************************************************
471 *         Version reporting entry point          *
472 *************************************************/
473
474 /* See local README for interface description. */
475
476 #include "../version.h"
477
478 void
479 mysql_version_report(FILE *f)
480 {
481 fprintf(f, "Library version: MySQL: Compile: %lu %s [%s]\n"
482            "                        Runtime: %lu %s\n",
483         (long)EXIM_MxSQL_VERSION_ID, EXIM_MxSQL_VERSION_STR, EXIM_MxSQL_BASE_STR,
484         mysql_get_client_version(), mysql_get_client_info());
485 #ifdef DYNLOOKUP
486 fprintf(f, "                        Exim version %s\n", EXIM_VERSION_STR);
487 #endif
488 }
489
490 /* These are the lookup_info blocks for this driver */
491
492 static lookup_info mysql_lookup_info = {
493   US"mysql",                     /* lookup name */
494   lookup_querystyle,             /* query-style lookup */
495   mysql_open,                    /* open function */
496   NULL,                          /* no check function */
497   mysql_find,                    /* find function */
498   NULL,                          /* no close function */
499   mysql_tidy,                    /* tidy function */
500   mysql_quote,                   /* quoting function */
501   mysql_version_report           /* version reporting */
502 };
503
504 #ifdef DYNLOOKUP
505 #define mysql_lookup_module_info _lookup_module_info
506 #endif
507
508 static lookup_info *_lookup_list[] = { &mysql_lookup_info };
509 lookup_module_info mysql_lookup_module_info = { LOOKUP_MODULE_INFO_MAGIC, _lookup_list, 1 };
510
511 /* End of lookups/mysql.c */