src/src/lookups/pgsql.c

   1 /* $Cambridge: exim/src/src/lookups/pgsql.c,v 1.5 2006/06/30 13:57:46 ph10 Exp $ */
   2
   3 /*************************************************
   4 *     Exim - an Internet mail transport agent    *
   5 *************************************************/
   6
   7 /* Copyright (c) University of Cambridge 1995 - 2006 */
   8 /* See the file NOTICE for conditions of use and distribution. */
   9
  10 /* Thanks to Petr Cech for contributing the original code for these
  11 functions. Thanks to Joachim Wieland for the initial patch for the Unix domain
  12 socket extension. */
  13
  14 #include "../exim.h"
  15 #include "lf_functions.h"
  16 #include "pgsql.h"       /* The local header */
  17
  18 /* We can't just compile this code and allow the library mechanism to omit the
  19 functions if they are not wanted, because we need to have the PGSQL header
  20 available for compiling. Therefore, compile these functions only if
  21 LOOKUP_PGSQL is defined. However, some compilers don't like compiling empty
  22 modules, so keep them happy with a dummy when skipping the rest. Make it
  23 reference itself to stop picky compilers complaining that it is unused, and put
  24 in a dummy argument to stop even pickier compilers complaining about infinite
  25 loops. */
  26
  27 #ifndef LOOKUP_PGSQL
  28 static void dummy(int x) { dummy(x-1); }
  29 #else
  30
  31
  32 #include <libpq-fe.h>       /* The system header */
  33
  34 /* Structure and anchor for caching connections. */
  35
  36 typedef struct pgsql_connection {
  37   struct pgsql_connection *next;
  38   uschar *server;
  39   PGconn *handle;
  40 } pgsql_connection;
  41
  42 static pgsql_connection *pgsql_connections = NULL;
  43
  44
  45
  46 /*************************************************
  47 *              Open entry point                  *
  48 *************************************************/
  49
  50 /* See local README for interface description. */
  51
  52 void *
  53 pgsql_open(uschar *filename, uschar **errmsg)
  54 {
  55 return (void *)(1);    /* Just return something non-null */
  56 }
  57
  58
  59
  60 /*************************************************
  61 *               Tidy entry point                 *
  62 *************************************************/
  63
  64 /* See local README for interface description. */
  65
  66 void
  67 pgsql_tidy(void)
  68 {
  69 pgsql_connection *cn;
  70 while ((cn = pgsql_connections) != NULL)
  71   {
  72   pgsql_connections = cn->next;
  73   DEBUG(D_lookup) debug_printf("close PGSQL connection: %s\n", cn->server);
  74   PQfinish(cn->handle);
  75   }
  76 }
  77
  78
  79
  80 /*************************************************
  81 *        Internal search function                *
  82 *************************************************/
  83
  84 /* This function is called from the find entry point to do the search for a
  85 single server. The server string is of the form "server/dbname/user/password".
  86
  87 PostgreSQL supports connections through Unix domain sockets. This is usually
  88 faster and costs less cpu time than a TCP/IP connection. However it can only be
  89 used if the mail server runs on the same machine as the database server. A
  90 configuration line for PostgreSQL via Unix domain sockets looks like this:
  91
  92 hide pgsql_servers = (/tmp/.s.PGSQL.5432)/db/user/password[:<nextserver>]
  93
  94 We enclose the path name in parentheses so that its slashes aren't visually
  95 confused with the delimeters for the other pgsql_server settings.
  96
  97 For TCP/IP connections, the server is a host name and optional port (with a
  98 colon separator).
  99
 100 NOTE:
 101  1) All three '/' must be present.
 102  2) If host is omitted the local unix socket is used.
 103
 104 Arguments:
 105   query        the query string
 106   server       the server string; this is in dynamic memory and can be updated
 107   resultptr    where to store the result
 108   errmsg       where to point an error message
 109   defer_break  TRUE if no more servers are to be tried after DEFER
 110   do_cache     set FALSE if data is changed
 111
 112 Returns:       OK, FAIL, or DEFER
 113 */
 114
 115 static int
 116 perform_pgsql_search(uschar *query, uschar *server, uschar **resultptr,
 117   uschar **errmsg, BOOL *defer_break, BOOL *do_cache)
 118 {
 119 PGconn *pg_conn = NULL;
 120 PGresult *pg_result = NULL;
 121
 122 int i;
 123 int ssize = 0;
 124 int offset = 0;
 125 int yield = DEFER;
 126 unsigned int num_fields, num_tuples;
 127 uschar *result = NULL;
 128 pgsql_connection *cn;
 129 uschar *server_copy = NULL;
 130 uschar *sdata[3];
 131
 132 /* Disaggregate the parameters from the server argument. The order is host or
 133 path, database, user, password. We can write to the string, since it is in a
 134 nextinlist temporary buffer. The copy of the string that is used for caching
 135 has the password removed. This copy is also used for debugging output. */
 136
 137 for (i = 2; i >= 0; i--)
 138   {
 139   uschar *pp = Ustrrchr(server, '/');
 140   if (pp == NULL)
 141     {
 142     *errmsg = string_sprintf("incomplete pgSQL server data: %s",
 143       (i == 2)? server : server_copy);
 144     *defer_break = TRUE;
 145     return DEFER;
 146     }
 147   *pp++ = 0;
 148   sdata[i] = pp;
 149   if (i == 2) server_copy = string_copy(server);  /* sans password */
 150   }
 151
 152 /* The total server string has now been truncated so that what is left at the
 153 start is the identification of the server (host or path). See if we have a
 154 cached connection to the server. */
 155
 156 for (cn = pgsql_connections; cn != NULL; cn = cn->next)
 157   {
 158   if (Ustrcmp(cn->server, server_copy) == 0)
 159     {
 160     pg_conn = cn->handle;
 161     break;
 162     }
 163   }
 164
 165 /* If there is no cached connection, we must set one up. */
 166
 167 if (cn == NULL)
 168   {
 169   uschar *port = US"";
 170
 171   /* For a Unix domain socket connection, the path is in parentheses */
 172
 173   if (*server == '(')
 174     {
 175     uschar *last_slash, *last_dot, *p;
 176
 177     p = ++server;
 178     while (*p != 0 && *p != ')') p++;
 179     *p = 0;
 180
 181     last_slash = Ustrrchr(server, '/');
 182     last_dot = Ustrrchr(server, '.');
 183
 184     DEBUG(D_lookup) debug_printf("PGSQL new connection: socket=%s "
 185       "database=%s user=%s\n", server, sdata[0], sdata[1]);
 186
 187     /* A valid socket name looks like this: /var/run/postgresql/.s.PGSQL.5432
 188     We have to call PQsetdbLogin with '/var/run/postgresql' as the hostname
 189     argument and put '5432' into the port variable. */
 190
 191     if (last_slash == NULL || last_dot == NULL)
 192       {
 193       *errmsg = string_sprintf("PGSQL invalid filename for socket: %s",
 194         server);
 195       *defer_break = TRUE;
 196       return DEFER;
 197       }
 198
 199     /* Terminate the path name and set up the port: we'll have something like
 200     server = "/var/run/postgresql" and port = "5432". */
 201
 202     *last_slash = 0;
 203     port = last_dot + 1;
 204     }
 205
 206   /* Host connection; sort out the port */
 207
 208   else
 209     {
 210     uschar *p;
 211     if ((p = Ustrchr(server, ':')) != NULL)
 212       {
 213       *p++ = 0;
 214       port = p;
 215       }
 216
 217     if (Ustrchr(server, '/') != NULL)
 218       {
 219       *errmsg = string_sprintf("unexpected slash in pgSQL server hostname: %s",
 220         server);
 221       *defer_break = TRUE;
 222       return DEFER;
 223       }
 224
 225     DEBUG(D_lookup) debug_printf("PGSQL new connection: host=%s port=%s "
 226       "database=%s user=%s\n", server, port, sdata[0], sdata[1]);
 227     }
 228
 229   /* If the database is the empty string, set it NULL - the query must then
 230   define it. */
 231
 232   if (sdata[0][0] == 0) sdata[0] = NULL;
 233
 234   /* Get store for a new handle, initialize it, and connect to the server */
 235
 236   pg_conn=PQsetdbLogin(
 237     /*  host      port  options tty   database       user       passwd */
 238     CS server, CS port,  NULL, NULL, CS sdata[0], CS sdata[1], CS sdata[2]);
 239
 240   if(PQstatus(pg_conn) == CONNECTION_BAD)
 241     {
 242     store_reset(server_copy);
 243     *errmsg = string_sprintf("PGSQL connection failed: %s",
 244       PQerrorMessage(pg_conn));
 245     PQfinish(pg_conn);
 246     *defer_break = FALSE;
 247     goto PGSQL_EXIT;
 248     }
 249
 250   /* Add the connection to the cache */
 251
 252   cn = store_get(sizeof(pgsql_connection));
 253   cn->server = server_copy;
 254   cn->handle = pg_conn;
 255   cn->next = pgsql_connections;
 256   pgsql_connections = cn;
 257   }
 258
 259 /* Else use a previously cached connection */
 260
 261 else
 262   {
 263   DEBUG(D_lookup) debug_printf("PGSQL using cached connection for %s\n",
 264     server_copy);
 265   }
 266
 267 /* Run the query */
 268
 269   pg_result = PQexec(pg_conn, CS query);
 270   switch(PQresultStatus(pg_result))
 271     {
 272     case PGRES_EMPTY_QUERY:
 273     case PGRES_COMMAND_OK:
 274     /* The command was successful but did not return any data since it was
 275      * not SELECT but either an INSERT, UPDATE or DELETE statement. Tell the
 276      * high level code to not cache this query, and clean the current cache for
 277      * this handle by setting *do_cache FALSE. */
 278     result = string_copy(US PQcmdTuples(pg_result));
 279     offset = Ustrlen(result);
 280     *do_cache = FALSE;
 281     DEBUG(D_lookup) debug_printf("PGSQL: command does not return any data "
 282       "but was successful. Rows affected: %s\n", result);
 283
 284     case PGRES_TUPLES_OK:
 285     break;
 286
 287     default:
 288     /* This was the original code:
 289     *errmsg = string_sprintf("PGSQL: query failed: %s\n",
 290                              PQresultErrorMessage(pg_result));
 291     This was suggested by a user:
 292     */
 293
 294     *errmsg = string_sprintf("PGSQL: query failed: %s (%s) (%s)\n",
 295                              PQresultErrorMessage(pg_result),
 296                              PQresStatus(PQresultStatus(pg_result)), query);
 297     *defer_break = FALSE;
 298     goto PGSQL_EXIT;
 299     }
 300
 301 /* Result is in pg_result. Find the number of fields returned. If this is one,
 302 we don't add field names to the data. Otherwise we do. If the query did not
 303 return anything we skip the for loop; this also applies to the case
 304 PGRES_COMMAND_OK. */
 305
 306 num_fields = PQnfields(pg_result);
 307 num_tuples = PQntuples(pg_result);
 308
 309 /* Get the fields and construct the result string. If there is more than one
 310 row, we insert '\n' between them. */
 311
 312 for (i = 0; i < num_tuples; i++)
 313   {
 314   if (result != NULL)
 315     result = string_cat(result, &ssize, &offset, US"\n", 1);
 316
 317    if (num_fields == 1)
 318     {
 319     result = string_cat(result, &ssize, &offset,
 320       US PQgetvalue(pg_result, i, 0), PQgetlength(pg_result, i, 0));
 321     }
 322
 323    else
 324     {
 325     int j;
 326     for (j = 0; j < num_fields; j++)
 327       {
 328       uschar *tmp = US PQgetvalue(pg_result, i, j);
 329       result = lf_quote(US PQfname(pg_result, j), tmp, Ustrlen(tmp), result,
 330         &ssize, &offset);
 331       }
 332     }
 333   }
 334
 335 /* If result is NULL then no data has been found and so we return FAIL.
 336 Otherwise, we must terminate the string which has been built; string_cat()
 337 always leaves enough room for a terminating zero. */
 338
 339 if (result == NULL)
 340   {
 341   yield = FAIL;
 342   *errmsg = US"PGSQL: no data found";
 343   }
 344 else
 345   {
 346   result[offset] = 0;
 347   store_reset(result + offset + 1);
 348   }
 349
 350 /* Get here by goto from various error checks. */
 351
 352 PGSQL_EXIT:
 353
 354 /* Free store for any result that was got; don't close the connection, as
 355 it is cached. */
 356
 357 if (pg_result != NULL) PQclear(pg_result);
 358
 359 /* Non-NULL result indicates a sucessful result */
 360
 361 if (result != NULL)
 362   {
 363   *resultptr = result;
 364   return OK;
 365   }
 366 else
 367   {
 368   DEBUG(D_lookup) debug_printf("%s\n", *errmsg);
 369   return yield;      /* FAIL or DEFER */
 370   }
 371 }
 372
 373
 374
 375
 376 /*************************************************
 377 *               Find entry point                 *
 378 *************************************************/
 379
 380 /* See local README for interface description. The handle and filename
 381 arguments are not used. Loop through a list of servers while the query is
 382 deferred with a retryable error. */
 383
 384 int
 385 pgsql_find(void *handle, uschar *filename, uschar *query, int length,
 386   uschar **result, uschar **errmsg, BOOL *do_cache)
 387 {
 388 int sep = 0;
 389 uschar *server;
 390 uschar *list = pgsql_servers;
 391 uschar buffer[512];
 392
 393 DEBUG(D_lookup) debug_printf("PGSQL query: %s\n", query);
 394
 395 while ((server = string_nextinlist(&list, &sep, buffer, sizeof(buffer)))
 396         != NULL)
 397   {
 398   BOOL defer_break;
 399   int rc = perform_pgsql_search(query, server, result, errmsg, &defer_break,
 400     do_cache);
 401   if (rc != DEFER || defer_break) return rc;
 402   }
 403
 404 if (pgsql_servers == NULL)
 405   *errmsg = US"no PGSQL servers defined (pgsql_servers option)";
 406
 407 return DEFER;
 408 }
 409
 410
 411
 412 /*************************************************
 413 *               Quote entry point                *
 414 *************************************************/
 415
 416 /* The characters that always need to be quoted (with backslash) are newline,
 417 tab, carriage return, backspace, backslash itself, and the quote characters.
 418 Percent and underscore are only special in contexts where they can be wild
 419 cards, and this isn't usually the case for data inserted from messages, since
 420 that isn't likely to be treated as a pattern of any kind. However, pgsql seems
 421 to allow escaping "on spec". If you use something like "where id="ab\%cd" it
 422 does treat the string as "ab%cd". So we can safely quote percent and
 423 underscore. [This is different to MySQL, where you can't do this.]
 424
 425 The original code quoted single quotes as \' which is documented as valid in
 426 the O'Reilly book "Practical PostgreSQL" (first edition) as an alternative to
 427 the SQL standard '' way of representing a single quote as data. However, in
 428 June 2006 there was some security issue with using \' and so this has been
 429 changed.
 430
 431 [Note: There is a function called PQescapeStringConn() that quotes strings.
 432 This cannot be used because it needs a PGconn argument (the connection handle).
 433 Why, I don't know. Seems odd for just string escaping...]
 434
 435 Arguments:
 436   s          the string to be quoted
 437   opt        additional option text or NULL if none
 438
 439 Returns:     the processed string or NULL for a bad option
 440 */
 441
 442 uschar *
 443 pgsql_quote(uschar *s, uschar *opt)
 444 {
 445 register int c;
 446 int count = 0;
 447 uschar *t = s;
 448 uschar *quoted;
 449
 450 if (opt != NULL) return NULL;     /* No options recognized */
 451
 452 while ((c = *t++) != 0)
 453   if (Ustrchr("\n\t\r\b\'\"\\%_", c) != NULL) count++;
 454
 455 if (count == 0) return s;
 456 t = quoted = store_get(Ustrlen(s) + count + 1);
 457
 458 while ((c = *s++) != 0)
 459   {
 460   if (c == '\'')
 461     {
 462     *t++ = '\'';
 463     *t++ = '\'';
 464     }
 465   else if (Ustrchr("\n\t\r\b\"\\%_", c) != NULL)
 466     {
 467     *t++ = '\\';
 468     switch(c)
 469       {
 470       case '\n': *t++ = 'n';
 471       break;
 472       case '\t': *t++ = 't';
 473       break;
 474       case '\r': *t++ = 'r';
 475       break;
 476       case '\b': *t++ = 'b';
 477       break;
 478       default:   *t++ = c;
 479       break;
 480       }
 481     }
 482   else *t++ = c;
 483   }
 484
 485 *t = 0;
 486 return quoted;
 487 }
 488
 489 #endif  /* PGSQL_LOOKUP */
 490
 491 /* End of lookups/pgsql.c */