Inline the smaller string-handling functions
[users/jgh/exim.git] / src / src / lookups / ldap.c
index c41b9212806762d8a77807fb5d19bdce2c26fd4f..08f68b75e6af285cfac6deb886bc60f243ecfa6c 100644 (file)
@@ -1,37 +1,26 @@
-/* $Cambridge: exim/src/src/lookups/ldap.c,v 1.9 2005/02/17 11:58:27 ph10 Exp $ */
-
 /*************************************************
 *     Exim - an Internet mail transport agent    *
 *************************************************/
 
-/* Copyright (c) University of Cambridge 1995 - 2005 */
+/* Copyright (c) University of Cambridge 1995 - 2018 */
 /* See the file NOTICE for conditions of use and distribution. */
 
 /* Many thanks to Stuart Lynne for contributing the original code for this
-driver. Further contibutions from Michael Haardt, Brian Candler, Barry
+driver. Further contributions from Michael Haardt, Brian Candler, Barry
 Pederson, Peter Savitch and Christian Kellner. Particular thanks to Brian for
 researching how to handle the different kinds of error. */
 
 
 #include "../exim.h"
 #include "lf_functions.h"
-#include "ldap.h"
-
 
-/* We can't just compile this code and allow the library mechanism to omit the
-functions if they are not wanted, because we need to have the LDAP headers
-available for compiling. Therefore, compile these functions only if LOOKUP_LDAP
-is defined. However, some compilers don't like compiling empty modules, so keep
-them happy with a dummy when skipping the rest. Make it reference itself to
-stop picky compilers complaining that it is unused, and put in a dummy argument
-to stop even pickier compilers complaining about infinite loops. */
-
-#ifndef LOOKUP_LDAP
-static void dummy(int x) { dummy(x-1); }
-#else
 
+/* Include LDAP headers. The code below uses some "old" LDAP interfaces that
+are deprecated in OpenLDAP. I don't know their status in other LDAP
+implementations. LDAP_DEPRECATED causes their prototypes to be defined in
+ldap.h. */
 
-/* Include LDAP headers */
+#define LDAP_DEPRECATED 1
 
 #include <lber.h>
 #include <ldap.h>
@@ -92,6 +81,7 @@ typedef struct ldap_connection {
   uschar *password;
   BOOL  bound;
   int   port;
+  BOOL  is_start_tls_called;
   LDAP *ld;
 } LDAP_CONNECTION;
 
@@ -132,6 +122,7 @@ Arguments:
   tcplimit      max time for network activity, e.g. connect, or 0 for OS default
   deference     the dereference option, which is one of
                   LDAP_DEREF_{NEVER,SEARCHING,FINDING,ALWAYS}
+  referrals     the referral option, which is LDAP_OPT_ON or LDAP_OPT_OFF
 
 Returns:        OK or FAIL or DEFER
                 FAIL is given only if a lookup was performed successfully, but
@@ -139,9 +130,10 @@ Returns:        OK or FAIL or DEFER
 */
 
 static int
-perform_ldap_search(uschar *ldap_url, uschar *server, int s_port, int search_type,
-  uschar **res, uschar **errmsg, BOOL *defer_break, uschar *user, uschar *password,
-  int sizelimit, int timelimit, int tcplimit, int dereference)
+perform_ldap_search(const uschar *ldap_url, uschar *server, int s_port,
+  int search_type, uschar **res, uschar **errmsg, BOOL *defer_break,
+  uschar *user, uschar *password, int sizelimit, int timelimit, int tcplimit,
+  int dereference, void *referrals)
 {
 LDAPURLDesc     *ludp = NULL;
 LDAPMessage     *result = NULL;
@@ -151,9 +143,7 @@ LDAP_CONNECTION *lcp;
 struct timeval timeout;
 struct timeval *timeoutptr = NULL;
 
-uschar *attr;
-uschar **attrp;
-uschar *data = NULL;
+gstring * data = NULL;
 uschar *dn = NULL;
 uschar *host;
 uschar **values;
@@ -164,23 +154,21 @@ uschar *error1 = NULL;   /* string representation of errcode (static) */
 uschar *error2 = NULL;   /* error message from the server */
 uschar *matched = NULL;  /* partially matched DN */
 
-int    attr_count = 0;
+int    attrs_requested = 0;
 int    error_yield = DEFER;
 int    msgid;
 int    rc, ldap_rc, ldap_parse_rc;
 int    port;
-int    ptr = 0;
 int    rescount = 0;
-int    size = 0;
 BOOL   attribute_found = FALSE;
 BOOL   ldapi = FALSE;
 
 DEBUG(D_lookup)
   debug_printf("perform_ldap_search: ldap%s URL = \"%s\" server=%s port=%d "
     "sizelimit=%d timelimit=%d tcplimit=%d\n",
-    (search_type == SEARCH_LDAP_MULTIPLE)? "m" :
-    (search_type == SEARCH_LDAP_DN)? "dn" :
-    (search_type == SEARCH_LDAP_AUTH)? "auth" : "",
+    search_type == SEARCH_LDAP_MULTIPLE ? "m" :
+    search_type == SEARCH_LDAP_DN       ? "dn" :
+    search_type == SEARCH_LDAP_AUTH     ? "auth" : "",
     ldap_url, server, s_port, sizelimit, timelimit, tcplimit);
 
 /* Check if LDAP thinks the URL is a valid LDAP URL. We assume that if the LDAP
@@ -207,7 +195,7 @@ given. OpenLDAP 2.0.6 sets an unset hostname to "" rather than empty, but
 expects NULL later in ldap_init() to mean "default", annoyingly. In OpenLDAP
 2.0.11 this has changed (it uses NULL). */
 
-if ((ludp->lud_host == NULL || ludp->lud_host[0] == 0) && server != NULL)
+if ((!ludp->lud_host || !ludp->lud_host[0]) && server)
   {
   host = server;
   port = s_port;
@@ -215,7 +203,7 @@ if ((ludp->lud_host == NULL || ludp->lud_host[0] == 0) && server != NULL)
 else
   {
   host = US ludp->lud_host;
-  if (host != NULL && host[0] == 0) host = NULL;
+  if (host && !host[0]) host = NULL;
   port = ludp->lud_port;
   }
 
@@ -235,7 +223,7 @@ first time.) If the host name is not a path, the use of "ldapi" causes an
 error, except in the default case. (But lud_scheme doesn't seem to exist in
 older libraries.) */
 
-if (host != NULL)
+if (host)
   {
   if ((host[0] == '/' || Ustrncmp(host, "%2F", 3) == 0))
     {
@@ -243,27 +231,27 @@ if (host != NULL)
     porttext[0] = 0;    /* Remove port from messages */
     }
 
-  #if defined LDAP_LIB_OPENLDAP2
+#if defined LDAP_LIB_OPENLDAP2
   else if (strncmp(ludp->lud_scheme, "ldapi", 5) == 0)
     {
     *errmsg = string_sprintf("ldapi requires an absolute path (\"%s\" given)",
       host);
     goto RETURN_ERROR;
     }
-  #endif
+#endif
   }
 
 /* Count the attributes; we need this later to tell us how to format results */
 
-for (attrp = USS ludp->lud_attrs; attrp != NULL && *attrp != NULL; attrp++)
-  attr_count++;
+for (uschar ** attrp = USS ludp->lud_attrs; attrp && *attrp; attrp++)
+  attrs_requested++;
 
 /* See if we can find a cached connection to this host. The port is not
 relevant for ldapi. The host name pointer is set to NULL if no host was given
 (implying the library default), rather than to the empty string. Note that in
 this case, there is no difference between ldap and ldapi. */
 
-for (lcp = ldap_connections; lcp != NULL; lcp = lcp->next)
+for (lcp = ldap_connections; lcp; lcp = lcp->next)
   {
   if ((host == NULL) != (lcp->host == NULL) ||
       (host != NULL && strcmpic(lcp->host, host) != 0))
@@ -285,10 +273,17 @@ the server name is actually an absolute path, we set ldapi=TRUE above. This
 requests connection via a Unix socket. However, as far as I know, only OpenLDAP
 supports the use of sockets, and the use of ldap_initialize(). */
 
-if (lcp == NULL)
+if (!lcp)
   {
   LDAP *ld;
 
+#ifdef LDAP_OPT_X_TLS_NEWCTX
+  int  am_server = 0;
+  LDAP *ldsetctx;
+#else
+  LDAP *ldsetctx = NULL;
+#endif
+
 
   /* --------------------------- OpenLDAP ------------------------ */
 
@@ -298,7 +293,7 @@ if (lcp == NULL)
   non-existent). So we handle OpenLDAP differently here. Also, support for
   ldapi seems to be OpenLDAP-only at present. */
 
-  #ifdef LDAP_LIB_OPENLDAP2
+#ifdef LDAP_LIB_OPENLDAP2
 
   /* We now need an empty string for the default host. Get some store in which
   to build a URL for ldap_initialize(). In the ldapi case, it can't be bigger
@@ -318,15 +313,11 @@ if (lcp == NULL)
     int ch;
     init_ptr = init_url + 8;
     Ustrcpy(init_url, "ldapi://");
-    while ((ch = *shost++) != 0)
-      {
+    while ((ch = *shost++))
       if (ch == '/')
-        {
-        Ustrncpy(init_ptr, "%2F", 3);
-        init_ptr += 3;
-        }
-      else *init_ptr++ = ch;
-      }
+       { Ustrncpy(init_ptr, "%2F", 3); init_ptr += 3; }
+      else
+       *init_ptr++ = ch;
     *init_ptr = 0;
     }
 
@@ -344,8 +335,7 @@ if (lcp == NULL)
   /* Call ldap_initialize() and check the result */
 
   DEBUG(D_lookup) debug_printf("ldap_initialize with URL %s\n", init_url);
-  rc = ldap_initialize(&ld, CS init_url);
-  if (rc != LDAP_SUCCESS)
+  if ((rc = ldap_initialize(&ld, CS init_url)) != LDAP_SUCCESS)
     {
     *errmsg = string_sprintf("ldap_initialize: (error %d) URL \"%s\"\n",
       rc, init_url);
@@ -358,26 +348,30 @@ if (lcp == NULL)
 
   /* For libraries other than OpenLDAP, use ldap_init(). */
 
-  #else   /* LDAP_LIB_OPENLDAP2 */
+#else   /* LDAP_LIB_OPENLDAP2 */
   ld = ldap_init(CS host, port);
-  #endif  /* LDAP_LIB_OPENLDAP2 */
+#endif  /* LDAP_LIB_OPENLDAP2 */
 
   /* -------------------------------------------------------------- */
 
 
   /* Handle failure to initialize */
 
-  if (ld == NULL)
+  if (!ld)
     {
     *errmsg = string_sprintf("failed to initialize for LDAP server %s%s - %s",
       host, porttext, strerror(errno));
     goto RETURN_ERROR;
     }
 
+#ifdef LDAP_OPT_X_TLS_NEWCTX
+  ldsetctx = ld;
+#endif
+
   /* Set the TCP connect time limit if available. This is something that is
   in Netscape SDK v4.1; I don't know about other libraries. */
 
-  #ifdef LDAP_X_OPT_CONNECT_TIMEOUT
+#ifdef LDAP_X_OPT_CONNECT_TIMEOUT
   if (tcplimit > 0)
     {
     int timeout1000 = tcplimit*1000;
@@ -388,14 +382,14 @@ if (lcp == NULL)
     int notimeout = LDAP_X_IO_TIMEOUT_NO_TIMEOUT;
     ldap_set_option(ld, LDAP_X_OPT_CONNECT_TIMEOUT, (void *)&notimeout);
     }
-  #endif
+#endif
 
   /* Set the TCP connect timeout. This works with OpenLDAP 2.2.14. */
 
-  #ifdef LDAP_OPT_NETWORK_TIMEOUT
+#ifdef LDAP_OPT_NETWORK_TIMEOUT
   if (tcplimit > 0)
     ldap_set_option(ld, LDAP_OPT_NETWORK_TIMEOUT, (void *)timeoutptr);
-  #endif
+#endif
 
   /* I could not get TLS to work until I set the version to 3. That version
   seems to be the default nowadays. The RFC is dated 1997, so I would hope
@@ -404,16 +398,16 @@ if (lcp == NULL)
 
   if (eldap_version < 0)
     {
-    #ifdef LDAP_VERSION3
+#ifdef LDAP_VERSION3
     eldap_version = LDAP_VERSION3;
-    #else
+#else
     eldap_version = 2;
-    #endif
+#endif
     }
 
-  #ifdef LDAP_OPT_PROTOCOL_VERSION
+#ifdef LDAP_OPT_PROTOCOL_VERSION
   ldap_set_option(ld, LDAP_OPT_PROTOCOL_VERSION, (void *)&eldap_version);
-  #endif
+#endif
 
   DEBUG(D_lookup) debug_printf("initialized for LDAP (v%d) server %s%s\n",
     eldap_version, host, porttext);
@@ -421,23 +415,89 @@ if (lcp == NULL)
   /* If not using ldapi and TLS is available, set appropriate TLS options: hard
   for "ldaps" and soft otherwise. */
 
-  #ifdef LDAP_OPT_X_TLS
+#ifdef LDAP_OPT_X_TLS
   if (!ldapi)
     {
     int tls_option;
+# ifdef LDAP_OPT_X_TLS_REQUIRE_CERT
+    if (eldap_require_cert)
+      {
+      tls_option =
+       Ustrcmp(eldap_require_cert, "hard")     == 0 ? LDAP_OPT_X_TLS_HARD
+       : Ustrcmp(eldap_require_cert, "demand") == 0 ? LDAP_OPT_X_TLS_DEMAND
+       : Ustrcmp(eldap_require_cert, "allow")  == 0 ? LDAP_OPT_X_TLS_ALLOW
+       : Ustrcmp(eldap_require_cert, "try")    == 0 ? LDAP_OPT_X_TLS_TRY
+       : LDAP_OPT_X_TLS_NEVER;
+
+      DEBUG(D_lookup)
+        debug_printf("Require certificate overrides LDAP_OPT_X_TLS option (%d)\n",
+                     tls_option);
+      }
+    else
+# endif  /* LDAP_OPT_X_TLS_REQUIRE_CERT */
     if (strncmp(ludp->lud_scheme, "ldaps", 5) == 0)
       {
       tls_option = LDAP_OPT_X_TLS_HARD;
-      DEBUG(D_lookup) debug_printf("LDAP_OPT_X_TLS_HARD set\n");
+      DEBUG(D_lookup)
+        debug_printf("LDAP_OPT_X_TLS_HARD set due to ldaps:// URI\n");
       }
     else
       {
       tls_option = LDAP_OPT_X_TLS_TRY;
-      DEBUG(D_lookup) debug_printf("LDAP_OPT_X_TLS_TRY set\n");
+      DEBUG(D_lookup)
+        debug_printf("LDAP_OPT_X_TLS_TRY set due to ldap:// URI\n");
       }
     ldap_set_option(ld, LDAP_OPT_X_TLS, (void *)&tls_option);
     }
-  #endif  /* LDAP_OPT_X_TLS */
+#endif  /* LDAP_OPT_X_TLS */
+
+#ifdef LDAP_OPT_X_TLS_CACERTFILE
+  if (eldap_ca_cert_file)
+    ldap_set_option(ldsetctx, LDAP_OPT_X_TLS_CACERTFILE, eldap_ca_cert_file);
+#endif
+#ifdef LDAP_OPT_X_TLS_CACERTDIR
+  if (eldap_ca_cert_dir)
+    ldap_set_option(ldsetctx, LDAP_OPT_X_TLS_CACERTDIR, eldap_ca_cert_dir);
+#endif
+#ifdef LDAP_OPT_X_TLS_CERTFILE
+  if (eldap_cert_file)
+    ldap_set_option(ldsetctx, LDAP_OPT_X_TLS_CERTFILE, eldap_cert_file);
+#endif
+#ifdef LDAP_OPT_X_TLS_KEYFILE
+  if (eldap_cert_key)
+    ldap_set_option(ldsetctx, LDAP_OPT_X_TLS_KEYFILE, eldap_cert_key);
+#endif
+#ifdef LDAP_OPT_X_TLS_CIPHER_SUITE
+  if (eldap_cipher_suite)
+    ldap_set_option(ldsetctx, LDAP_OPT_X_TLS_CIPHER_SUITE, eldap_cipher_suite);
+#endif
+#ifdef LDAP_OPT_X_TLS_REQUIRE_CERT
+  if (eldap_require_cert)
+    {
+    int cert_option =
+      Ustrcmp(eldap_require_cert, "hard")     == 0 ? LDAP_OPT_X_TLS_HARD
+      : Ustrcmp(eldap_require_cert, "demand") == 0 ? LDAP_OPT_X_TLS_DEMAND
+      : Ustrcmp(eldap_require_cert, "allow")  == 0 ? LDAP_OPT_X_TLS_ALLOW
+      : Ustrcmp(eldap_require_cert, "try")    == 0 ? LDAP_OPT_X_TLS_TRY
+      : LDAP_OPT_X_TLS_NEVER;
+
+    /* This ldap handle is set at compile time based on client libs. Older
+     * versions want it to be global and newer versions can force a reload
+     * of the TLS context (to reload these settings we are changing from the
+     * default that loaded at instantiation). */
+    rc = ldap_set_option(ldsetctx, LDAP_OPT_X_TLS_REQUIRE_CERT, &cert_option);
+    if (rc)
+      DEBUG(D_lookup)
+        debug_printf("Unable to set TLS require cert_option(%d) globally: %s\n",
+          cert_option, ldap_err2string(rc));
+    }
+#endif
+#ifdef LDAP_OPT_X_TLS_NEWCTX
+  if ((rc = ldap_set_option(ldsetctx, LDAP_OPT_X_TLS_NEWCTX, &am_server)))
+    DEBUG(D_lookup)
+      debug_printf("Unable to reload TLS context %d: %s\n",
+                   rc, ldap_err2string(rc));
+  #endif
 
   /* Now add this connection to the chain of cached connections */
 
@@ -449,32 +509,52 @@ if (lcp == NULL)
   lcp->port = port;
   lcp->ld = ld;
   lcp->next = ldap_connections;
+  lcp->is_start_tls_called = FALSE;
   ldap_connections = lcp;
   }
 
 /* Found cached connection */
 
 else
-  {
   DEBUG(D_lookup)
     debug_printf("re-using cached connection to LDAP server %s%s\n",
       host, porttext);
-  }
 
 /* Bind with the user/password supplied, or an anonymous bind if these values
 are NULL, unless a cached connection is already bound with the same values. */
 
-if (!lcp->bound ||
-    (lcp->user == NULL && user != NULL) ||
-    (lcp->user != NULL && user == NULL) ||
-    (lcp->user != NULL && user != NULL && Ustrcmp(lcp->user, user) != 0) ||
-    (lcp->password == NULL && password != NULL) ||
-    (lcp->password != NULL && password == NULL) ||
-    (lcp->password != NULL && password != NULL &&
-      Ustrcmp(lcp->password, password) != 0))
+if (  !lcp->bound
+   || !lcp->user && user
+   || lcp->user && !user
+   || lcp->user && user && Ustrcmp(lcp->user, user) != 0
+   || !lcp->password && password
+   || lcp->password && !password
+   || lcp->password && password && Ustrcmp(lcp->password, password) != 0
+   )
   {
   DEBUG(D_lookup) debug_printf("%sbinding with user=%s password=%s\n",
-    (lcp->bound)? "re-" : "", user, password);
+    lcp->bound ? "re-" : "", user, password);
+
+  if (eldap_start_tls && !lcp->is_start_tls_called && !ldapi)
+    {
+#if defined(LDAP_OPT_X_TLS) && !defined(LDAP_LIB_SOLARIS)
+    /* The Oracle LDAP libraries (LDAP_LIB_TYPE=SOLARIS) don't support this.
+     * Note: moreover, they appear to now define LDAP_OPT_X_TLS and still not
+     *       export an ldap_start_tls_s symbol.
+     */
+    if ( (rc = ldap_start_tls_s(lcp->ld, NULL, NULL)) != LDAP_SUCCESS)
+      {
+      *errmsg = string_sprintf("failed to initiate TLS processing on an "
+          "LDAP session to server %s%s - ldap_start_tls_s() returned %d:"
+          " %s", host, porttext, rc, ldap_err2string(rc));
+      goto RETURN_ERROR;
+      }
+    lcp->is_start_tls_called = TRUE;
+#else
+    DEBUG(D_lookup) debug_printf("TLS initiation not supported with this Exim"
+      " and your LDAP library.\n");
+#endif
+    }
   if ((msgid = ldap_bind(lcp->ld, CS user, CS password, LDAP_AUTH_SIMPLE))
        == -1)
     {
@@ -483,7 +563,7 @@ if (!lcp->bound ||
     goto RETURN_ERROR;
     }
 
-  if ((rc = ldap_result( lcp->ld, msgid, 1, timeoutptr, &result )) <= 0)
+  if ((rc = ldap_result(lcp->ld, msgid, 1, timeoutptr, &result)) <= 0)
     {
     *errmsg = string_sprintf("failed to bind the LDAP connection to server "
       "%s%s - LDAP error: %s", host, porttext,
@@ -492,7 +572,7 @@ if (!lcp->bound ||
     goto RETURN_ERROR;
     }
 
-  rc = ldap_result2error( lcp->ld, result, 0 );
+  rc = ldap_result2error(lcp->ld, result, 0);
 
   /* Invalid credentials when just checking credentials returns FAIL. This
   stops any further servers being tried. */
@@ -518,8 +598,8 @@ if (!lcp->bound ||
   /* Successful bind */
 
   lcp->bound = TRUE;
-  lcp->user = (user == NULL)? NULL : string_copy(user);
-  lcp->password = (password == NULL)? NULL : string_copy(password);
+  lcp->user = !user ? NULL : string_copy(user);
+  lcp->password = !password ? NULL : string_copy(password);
 
   ldap_msgfree(result);
   result = NULL;
@@ -551,6 +631,14 @@ an LDAP library without LDAP_OPT_DEREF. */
 ldap_set_option(lcp->ld, LDAP_OPT_DEREF, (void *)&dereference);
 #endif
 
+/* Similarly for the referral setting; should the library follow referrals that
+the LDAP server returns? The conditional is just in case someone uses a library
+without it. */
+
+#if defined(LDAP_OPT_REFERRALS)
+ldap_set_option(lcp->ld, LDAP_OPT_REFERRALS, referrals);
+#endif
+
 /* Start the search on the server. */
 
 DEBUG(D_lookup) debug_printf("Start search\n");
@@ -560,15 +648,14 @@ msgid = ldap_search(lcp->ld, ludp->lud_dn, ludp->lud_scope, ludp->lud_filter,
 
 if (msgid == -1)
   {
-  #if defined LDAP_LIB_SOLARIS || defined LDAP_LIB_OPENLDAP2
+#if defined LDAP_LIB_SOLARIS || defined LDAP_LIB_OPENLDAP2
   int err;
   ldap_get_option(lcp->ld, LDAP_OPT_ERROR_NUMBER, &err);
   *errmsg = string_sprintf("ldap_search failed: %d, %s", err,
     ldap_err2string(err));
-
-  #else
+#else
   *errmsg = string_sprintf("ldap_search failed");
-  #endif
+#endif
 
   goto RETURN_ERROR;
   }
@@ -580,11 +667,16 @@ while ((rc = ldap_result(lcp->ld, msgid, 0, timeoutptr, &result)) ==
         LDAP_RES_SEARCH_ENTRY)
   {
   LDAPMessage  *e;
+  int valuecount;   /* We can see an attr spread across several
+                    entries. If B is derived from A and we request
+                    A and the directory contains both, A and B,
+                    then we get two entries, one for A and one for B.
+                    Here we just count the values per entry */
 
-  DEBUG(D_lookup) debug_printf("ldap_result loop\n");
+  DEBUG(D_lookup) debug_printf("LDAP result loop\n");
 
-  for(e = ldap_first_entry(lcp->ld, result);
-      e != NULL;
+  for(e = ldap_first_entry(lcp->ld, result), valuecount = 0;
+      e;
       e = ldap_next_entry(lcp->ld, e))
     {
     uschar *new_dn;
@@ -596,20 +688,19 @@ while ((rc = ldap_result(lcp->ld, msgid, 0, timeoutptr, &result)) ==
 
     /* Results for multiple entries values are separated by newlines. */
 
-    if (data != NULL) data = string_cat(data, &size, &ptr, US"\n", 1);
+    if (data) data = string_catn(data, US"\n", 1);
 
     /* Get the DN from the last result. */
 
-    new_dn = US ldap_get_dn(lcp->ld, e);
-    if (new_dn != NULL)
+    if ((new_dn = US ldap_get_dn(lcp->ld, e)))
       {
-      if (dn != NULL)
+      if (dn)
         {
-        #if defined LDAP_LIB_NETSCAPE || defined LDAP_LIB_OPENLDAP2
+#if defined LDAP_LIB_NETSCAPE || defined LDAP_LIB_OPENLDAP2
         ldap_memfree(dn);
-        #else   /* OPENLDAP 1, UMich, Solaris */
+#else   /* OPENLDAP 1, UMich, Solaris */
         free(dn);
-        #endif
+#endif
         }
       /* Save for later */
       dn = new_dn;
@@ -620,76 +711,92 @@ while ((rc = ldap_result(lcp->ld, msgid, 0, timeoutptr, &result)) ==
     entries, the DNs will be concatenated, but we test for this case below, as
     for SEARCH_LDAP_SINGLE, and give an error. */
 
-    if (search_type == SEARCH_LDAP_DN)   /* Do not amalgamate these into one */
-      {                                  /* condition, because of the else */
-      if (new_dn != NULL)                /* below, that's for the first only */
+    if (search_type == SEARCH_LDAP_DN) /* Do not amalgamate these into one */
+      {                                        /* condition, because of the else */
+      if (new_dn)                      /* below, that's for the first only */
         {
-        data = string_cat(data, &size, &ptr, new_dn, Ustrlen(new_dn));
-        data[ptr] = 0;
+        data = string_cat(data, new_dn);
+       (void) string_from_gstring(data);
         attribute_found = TRUE;
         }
       }
 
     /* Otherwise, loop through the entry, grabbing attribute values. If there's
     only one attribute being retrieved, no attribute name is given, and the
-    result is not quoted. Multiple values are separated by (comma, space).
+    result is not quoted. Multiple values are separated by (comma).
     If more than one attribute is being retrieved, the data is given as a
-    sequence of name=value pairs, with the value always in quotes. If there are
-    multiple values, they are given within the quotes, comma separated. */
+    sequence of name=value pairs, separated by (space), with the value always in quotes.
+    If there are multiple values, they are given within the quotes, comma separated. */
 
-    else for (attr = US ldap_first_attribute(lcp->ld, e, &ber);
-              attr != NULL;
-              attr = US ldap_next_attribute(lcp->ld, e, ber))
+    else for (uschar * attr = US ldap_first_attribute(lcp->ld, e, &ber);
+              attr; attr = US ldap_next_attribute(lcp->ld, e, ber))
       {
+      DEBUG(D_lookup) debug_printf("LDAP attr loop\n");
+
+      /* In case of attrs_requested == 1 we just count the values, in all other cases
+      (0, >1) we count the values per attribute */
+      if (attrs_requested != 1) valuecount = 0;
+
       if (attr[0] != 0)
         {
         /* Get array of values for this attribute. */
 
-        if ((firstval = values = USS ldap_get_values(lcp->ld, e, CS attr))
-             != NULL)
+        if ((firstval = values = USS ldap_get_values(lcp->ld, e, CS attr)))
           {
-          if (attr_count != 1)
+          if (attrs_requested != 1)
             {
             if (insert_space)
-              data = string_cat(data, &size, &ptr, US" ", 1);
+              data = string_catn(data, US" ", 1);
             else
               insert_space = TRUE;
-            data = string_cat(data, &size, &ptr, attr, Ustrlen(attr));
-            data = string_cat(data, &size, &ptr, US"=\"", 2);
+            data = string_cat(data, attr);
+            data = string_catn(data, US"=\"", 2);
             }
 
-          while (*values != NULL)
+          while (*values)
             {
             uschar *value = *values;
             int len = Ustrlen(value);
+            ++valuecount;
 
-            DEBUG(D_lookup) debug_printf("LDAP attr loop %s:%s\n", attr, value);
+            DEBUG(D_lookup) debug_printf("LDAP value loop %s:%s\n", attr, value);
 
-            if (values != firstval)
-              data = string_cat(data, &size, &ptr, US", ", 2);
+            /* In case we requested one attribute only but got several times
+            into that attr loop, we need to append the additional values.
+            (This may happen if you derive attributeTypes B and C from A and
+            then query for A.) In all other cases we detect the different
+            attribute and append only every non first value. */
+
+            if (data && valuecount > 1)
+              data = string_catn(data, US",", 1);
 
             /* For multiple attributes, the data is in quotes. We must escape
-            internal quotes, backslashes, newlines. */
+            internal quotes, backslashes, newlines, and must double commas. */
 
-            if (attr_count != 1)
-              {
-              int j;
-              for (j = 0; j < len; j++)
+            if (attrs_requested != 1)
+              for (int j = 0; j < len; j++)
                 {
                 if (value[j] == '\n')
-                  data = string_cat(data, &size, &ptr, US"\\n", 2);
+                  data = string_catn(data, US"\\n", 2);
+                else if (value[j] == ',')
+                  data = string_catn(data, US",,", 2);
                 else
                   {
                   if (value[j] == '\"' || value[j] == '\\')
-                    data = string_cat(data, &size, &ptr, US"\\", 1);
-                  data = string_cat(data, &size, &ptr, value+j, 1);
+                    data = string_catn(data, US"\\", 1);
+                  data = string_catn(data, value+j, 1);
                   }
                 }
-              }
 
-            /* For single attributes, copy the value verbatim */
+            /* For single attributes, just double commas */
+
+           else
+             for (int j = 0; j < len; j++)
+               if (value[j] == ',')
+                 data = string_catn(data, US",,", 2);
+               else
+                 data = string_catn(data, value+j, 1);
 
-            else data = string_cat(data, &size, &ptr, value, len);
 
             /* Move on to the next value */
 
@@ -699,8 +806,8 @@ while ((rc = ldap_result(lcp->ld, msgid, 0, timeoutptr, &result)) ==
 
           /* Closing quote at the end of the data for a named attribute. */
 
-          if (attr_count != 1)
-            data = string_cat(data, &size, &ptr, US"\"", 1);
+          if (attrs_requested != 1)
+            data = string_catn(data, US"\"", 1);
 
           /* Free the values */
 
@@ -708,14 +815,14 @@ while ((rc = ldap_result(lcp->ld, msgid, 0, timeoutptr, &result)) ==
           }
         }
 
-      #if defined LDAP_LIB_NETSCAPE || defined LDAP_LIB_OPENLDAP2
+#if defined LDAP_LIB_NETSCAPE || defined LDAP_LIB_OPENLDAP2
 
       /* Netscape and OpenLDAP2 LDAP's attrs are dynamically allocated and need
       to be freed. UMich LDAP stores them in static storage and does not require
       this. */
 
       ldap_memfree(attr);
-      #endif
+#endif
       }        /* End "for" loop for extracting attributes from an entry */
     }          /* End "for" loop for extracting entries from a result */
 
@@ -725,24 +832,24 @@ while ((rc = ldap_result(lcp->ld, msgid, 0, timeoutptr, &result)) ==
   result = NULL;
   }            /* End "while" loop for multiple results */
 
-/* Terminate the dynamic string that we have built and reclaim unused store */
+/* Terminate the dynamic string that we have built and reclaim unused store.
+In the odd case of a single attribute with zero-length value, allocate
+an empty string. */
 
-if (data != NULL)
-  {
-  data[ptr] = 0;
-  store_reset(data + ptr + 1);
-  }
+if (!data) data = string_get(1);
+(void) string_from_gstring(data);
+gstring_release_unused(data);
 
 /* Copy the last dn into eldap_dn */
 
-if (dn != NULL)
+if (dn)
   {
   eldap_dn = string_copy(dn);
-  #if defined LDAP_LIB_NETSCAPE || defined LDAP_LIB_OPENLDAP2
+#if defined LDAP_LIB_NETSCAPE || defined LDAP_LIB_OPENLDAP2
   ldap_memfree(dn);
-  #else   /* OPENLDAP 1, UMich, Solaris */
+#else   /* OPENLDAP 1, UMich, Solaris */
   free(dn);
-  #endif
+#endif
   }
 
 DEBUG(D_lookup) debug_printf("search ended by ldap_result yielding %d\n",rc);
@@ -764,25 +871,25 @@ the server, which we didn't get.
 Annoyingly, the different implementations of LDAP have gone for different
 methods of handling error codes and generating error messages. */
 
-if (rc == -1 || result == NULL)
+if (rc == -1 || !result)
   {
   int err;
   DEBUG(D_lookup) debug_printf("ldap_result failed\n");
 
-  #if defined LDAP_LIB_SOLARIS || defined LDAP_LIB_OPENLDAP2
+#if defined LDAP_LIB_SOLARIS || defined LDAP_LIB_OPENLDAP2
     ldap_get_option(lcp->ld, LDAP_OPT_ERROR_NUMBER, &err);
     *errmsg = string_sprintf("ldap_result failed: %d, %s",
       err, ldap_err2string(err));
 
-  #elif defined LDAP_LIB_NETSCAPE
+#elif defined LDAP_LIB_NETSCAPE
     /* Dubious (surely 'matched' is spurious here?) */
     (void)ldap_get_lderrno(lcp->ld, &matched, &error1);
     *errmsg = string_sprintf("ldap_result failed: %s (%s)", error1, matched);
 
-  #else                             /* UMich LDAP aka OpenLDAP 1.x */
+#else                             /* UMich LDAP aka OpenLDAP 1.x */
     *errmsg = string_sprintf("ldap_result failed: %d, %s",
       lcp->ld->ld_errno, ldap_err2string(lcp->ld->ld_errno));
-  #endif
+#endif
 
   goto RETURN_ERROR;
   }
@@ -839,34 +946,43 @@ We need to parse the message to find out exactly what's happened. */
   (1) If we get LDAP_SIZELIMIT_EXCEEDED, just carry on, to return the
       truncated result list.
 
-  (2) The range of errors defined by LDAP_NAME_ERROR generally mean "that
+  (2) If we get LDAP_RES_SEARCH_REFERENCE, also just carry on. This was a
+      submitted patch that is reported to "do the right thing" with Solaris
+      LDAP libraries. (The problem it addresses apparently does not occur with
+      Open LDAP.)
+
+  (3) The range of errors defined by LDAP_NAME_ERROR generally mean "that
       object does not, or cannot, exist in the database". For those cases we
       fail the lookup.
 
-  (3) All other non-successes here are treated as some kind of problem with
+  (4) All other non-successes here are treated as some kind of problem with
       the lookup, so return DEFER (which is the default in error_yield).
 */
 
 DEBUG(D_lookup) debug_printf("ldap_parse_result yielded %d: %s\n",
   rc, ldap_err2string(rc));
 
-if (rc != LDAP_SUCCESS && rc != LDAP_SIZELIMIT_EXCEEDED)
+if (rc != LDAP_SUCCESS && rc != LDAP_SIZELIMIT_EXCEEDED
+    #ifdef LDAP_RES_SEARCH_REFERENCE
+    && rc != LDAP_RES_SEARCH_REFERENCE
+    #endif
+    )
   {
   *errmsg = string_sprintf("LDAP search failed - error %d: %s%s%s%s%s",
     rc,
-    (error1 != NULL)?                       error1  : US"",
-    (error2 != NULL && error2[0] != 0)?     US"/"   : US"",
-    (error2 != NULL)?                       error2  : US"",
-    (matched != NULL && matched[0] != 0)?   US"/"   : US"",
-    (matched != NULL)?                      matched : US"");
+    error1 ?                  error1  : US"",
+    error2 && error2[0] ?     US"/"   : US"",
+    error2 ?                  error2  : US"",
+    matched && matched[0] ?   US"/"   : US"",
+    matched ?                 matched : US"");
 
-  #if defined LDAP_NAME_ERROR
+#if defined LDAP_NAME_ERROR
   if (LDAP_NAME_ERROR(rc))
-  #elif defined NAME_ERROR    /* OPENLDAP1 calls it this */
+#elif defined NAME_ERROR    /* OPENLDAP1 calls it this */
   if (NAME_ERROR(rc))
-  #else
+#else
   if (rc == LDAP_NO_SUCH_OBJECT)
-  #endif
+#endif
 
     {
     DEBUG(D_lookup) debug_printf("lookup failure forced\n");
@@ -905,11 +1021,11 @@ if (!attribute_found)
 
 /* Otherwise, it's all worked */
 
-DEBUG(D_lookup) debug_printf("LDAP search: returning: %s\n", data);
-*res = data;
+DEBUG(D_lookup) debug_printf("LDAP search: returning: %s\n", data->s);
+*res = data->s;
 
 RETURN_OK:
-if (result != NULL) ldap_msgfree(result);
+if (result) ldap_msgfree(result);
 ldap_free_urldesc(ludp);
 return OK;
 
@@ -922,12 +1038,12 @@ RETURN_ERROR:
 DEBUG(D_lookup) debug_printf("%s\n", *errmsg);
 
 RETURN_ERROR_NOMSG:
-if (result != NULL) ldap_msgfree(result);
-if (ludp != NULL) ldap_free_urldesc(ludp);
+if (result) ldap_msgfree(result);
+if (ludp) ldap_free_urldesc(ludp);
 
 #if defined LDAP_LIB_OPENLDAP2
-  if (error2 != NULL)  ldap_memfree(error2);
-  if (matched != NULL) ldap_memfree(matched);
+  if (error2)  ldap_memfree(error2);
+  if (matched) ldap_memfree(matched);
 #endif
 
 return error_yield;
@@ -965,20 +1081,23 @@ Returns:        OK or FAIL or DEFER
 */
 
 static int
-control_ldap_search(uschar *ldap_url, int search_type, uschar **res,
+control_ldap_search(const uschar *ldap_url, int search_type, uschar **res,
   uschar **errmsg)
 {
 BOOL defer_break = FALSE;
 int timelimit = LDAP_NO_LIMIT;
 int sizelimit = LDAP_NO_LIMIT;
 int tcplimit = 0;
-int dereference = LDAP_DEREF_NEVER;
 int sep = 0;
-uschar *url = ldap_url;
-uschar *p;
+int dereference = LDAP_DEREF_NEVER;
+void* referrals = LDAP_OPT_ON;
+const uschar *url = ldap_url;
+const uschar *p;
 uschar *user = NULL;
 uschar *password = NULL;
-uschar *server, *list;
+uschar *local_servers = NULL;
+uschar *server;
+const uschar *list;
 uschar buffer[512];
 
 while (isspace(*url)) url++;
@@ -990,7 +1109,7 @@ NAME has the value "ldap". */
 
 while (strncmpic(url, US"ldap", 4) != 0)
   {
-  uschar *name = url;
+  const uschar *name = url;
   while (*url != 0 && *url != '=') url++;
   if (*url == '=')
     {
@@ -1006,6 +1125,7 @@ while (strncmpic(url, US"ldap", 4) != 0)
       else if (strncmpic(name, US"TIME=", namelen) == 0) timelimit = Uatoi(value);
       else if (strncmpic(name, US"CONNECT=", namelen) == 0) tcplimit = Uatoi(value);
       else if (strncmpic(name, US"NETTIME=", namelen) == 0) tcplimit = Uatoi(value);
+      else if (strncmpic(name, US"SERVERS=", namelen) == 0) local_servers = value;
 
       /* Don't know if all LDAP libraries have LDAP_OPT_DEREF */
 
@@ -1027,7 +1147,29 @@ while (strncmpic(url, US"ldap", 4) != 0)
         DEBUG(D_lookup) debug_printf("%s\n", *errmsg);
         return DEFER;
         }
+      #endif
 
+      #ifdef LDAP_OPT_REFERRALS
+      else if (strncmpic(name, US"REFERRALS=", namelen) == 0)
+        {
+        if (strcmpic(value, US"follow") == 0) referrals = LDAP_OPT_ON;
+        else if (strcmpic(value, US"nofollow") == 0) referrals = LDAP_OPT_OFF;
+        else
+          {
+          *errmsg = string_sprintf("LDAP option REFERRALS is not \"follow\" "
+            "or \"nofollow\"");
+          DEBUG(D_lookup) debug_printf("%s\n", *errmsg);
+          return DEFER;
+          }
+        }
+      #else
+      else if (strncmpic(name, US"REFERRALS=", namelen) == 0)
+        {
+        *errmsg = string_sprintf("LDAP_OP_REFERRALS not defined in this LDAP "
+          "library - cannot use \"referrals\"");
+        DEBUG(D_lookup) debug_printf("%s\n", *errmsg);
+        return DEFER;
+        }
       #endif
 
       else
@@ -1055,9 +1197,8 @@ far too complicated. */
 
 if (user != NULL)
   {
-  uschar *s;
   uschar *t = user;
-  for (s = user; *s != 0; s++)
+  for (uschar * s = user; *s != 0; s++)
     {
     int c, d;
     if (*s == '%' && isxdigit(c=s[1]) && isxdigit(d=s[2]))
@@ -1076,8 +1217,8 @@ if (user != NULL)
 
 DEBUG(D_lookup)
   debug_printf("LDAP parameters: user=%s pass=%s size=%d time=%d connect=%d "
-    "dereference=%d\n", user, password, sizelimit, timelimit, tcplimit,
-    dereference);
+    "dereference=%d referrals=%s\n", user, password, sizelimit, timelimit,
+    tcplimit, dereference, (referrals == LDAP_OPT_ON)? "on" : "off");
 
 /* If the request is just to check authentication, some credentials must
 be given. The password must not be empty because LDAP binds with an empty
@@ -1111,15 +1252,16 @@ if (Ustrncmp(p, "://", 3) != 0)
 
 /* No default servers, or URL contains a server name: just one attempt */
 
-if (eldap_default_servers == NULL || p[3] != '/')
+if ((eldap_default_servers == NULL && local_servers == NULL) || p[3] != '/')
   {
   return perform_ldap_search(url, NULL, 0, search_type, res, errmsg,
-    &defer_break, user, password, sizelimit, timelimit, tcplimit, dereference);
+    &defer_break, user, password, sizelimit, timelimit, tcplimit, dereference,
+    referrals);
   }
 
-/* Loop through the default servers until OK or FAIL */
-
-list = eldap_default_servers;
+/* Loop through the default servers until OK or FAIL. Use local_servers list
+ * if defined in the lookup, otherwise use the global default list */
+list = (local_servers == NULL) ? eldap_default_servers : local_servers;
 while ((server = string_nextinlist(&list, &sep, buffer, sizeof(buffer))) != NULL)
   {
   int rc;
@@ -1131,7 +1273,8 @@ while ((server = string_nextinlist(&list, &sep, buffer, sizeof(buffer))) != NULL
     port = Uatoi(colon+1);
     }
   rc = perform_ldap_search(url, server, port, search_type, res, errmsg,
-    &defer_break, user, password, sizelimit, timelimit, tcplimit, dereference);
+    &defer_break, user, password, sizelimit, timelimit, tcplimit, dereference,
+    referrals);
   if (rc != DEFER || defer_break) return rc;
   }
 
@@ -1148,27 +1291,27 @@ return DEFER;
 are handled by a common function, with a flag to differentiate between them.
 The handle and filename arguments are not used. */
 
-int
-eldap_find(void *handle, uschar *filename, uschar *ldap_url, int length,
-  uschar **result, uschar **errmsg, BOOL *do_cache)
+static int
+eldap_find(void *handle, uschar *filename, const uschar *ldap_url, int length,
+  uschar **result, uschar **errmsg, uint *do_cache)
 {
 /* Keep picky compilers happy */
 do_cache = do_cache;
 return(control_ldap_search(ldap_url, SEARCH_LDAP_SINGLE, result, errmsg));
 }
 
-int
-eldapm_find(void *handle, uschar *filename, uschar *ldap_url, int length,
-  uschar **result, uschar **errmsg, BOOL *do_cache)
+static int
+eldapm_find(void *handle, uschar *filename, const uschar *ldap_url, int length,
+  uschar **result, uschar **errmsg, uint *do_cache)
 {
 /* Keep picky compilers happy */
 do_cache = do_cache;
 return(control_ldap_search(ldap_url, SEARCH_LDAP_MULTIPLE, result, errmsg));
 }
 
-int
-eldapdn_find(void *handle, uschar *filename, uschar *ldap_url, int length,
-  uschar **result, uschar **errmsg, BOOL *do_cache)
+static int
+eldapdn_find(void *handle, uschar *filename, const uschar *ldap_url, int length,
+  uschar **result, uschar **errmsg, uint *do_cache)
 {
 /* Keep picky compilers happy */
 do_cache = do_cache;
@@ -1176,8 +1319,8 @@ return(control_ldap_search(ldap_url, SEARCH_LDAP_DN, result, errmsg));
 }
 
 int
-eldapauth_find(void *handle, uschar *filename, uschar *ldap_url, int length,
-  uschar **result, uschar **errmsg, BOOL *do_cache)
+eldapauth_find(void *handle, uschar *filename, const uschar *ldap_url, int length,
+  uschar **result, uschar **errmsg, uint *do_cache)
 {
 /* Keep picky compilers happy */
 do_cache = do_cache;
@@ -1192,7 +1335,7 @@ return(control_ldap_search(ldap_url, SEARCH_LDAP_AUTH, result, errmsg));
 
 /* See local README for interface description. */
 
-void *
+static void *
 eldap_open(uschar *filename, uschar **errmsg)
 {
 return (void *)(1);    /* Just return something non-null */
@@ -1207,7 +1350,7 @@ return (void *)(1);    /* Just return something non-null */
 /* See local README for interface description.
 Make sure that eldap_dn does not refer to reclaimed or worse, freed store */
 
-void
+static void
 eldap_tidy(void)
 {
 LDAP_CONNECTION *lcp = NULL;
@@ -1217,7 +1360,8 @@ while ((lcp = ldap_connections) != NULL)
   {
   DEBUG(D_lookup) debug_printf("unbind LDAP connection to %s:%d\n", lcp->host,
     lcp->port);
-  ldap_unbind(lcp->ld);
+  if(lcp->bound == TRUE)
+    ldap_unbind(lcp->ld);
   ldap_connections = lcp->next;
   }
 }
@@ -1303,7 +1447,7 @@ quote_ldap_dn, respectively. */
 
 
 
-uschar *
+static uschar *
 eldap_quote(uschar *s, uschar *opt)
 {
 register int c;
@@ -1422,6 +1566,66 @@ else
 return quoted;
 }
 
-#endif  /* LOOKUP_LDAP */
+
+
+/*************************************************
+*         Version reporting entry point          *
+*************************************************/
+
+/* See local README for interface description. */
+
+#include "../version.h"
+
+void
+ldap_version_report(FILE *f)
+{
+#ifdef DYNLOOKUP
+fprintf(f, "Library version: LDAP: Exim version %s\n", EXIM_VERSION_STR);
+#endif
+}
+
+
+static lookup_info ldap_lookup_info = {
+  US"ldap",                      /* lookup name */
+  lookup_querystyle,             /* query-style lookup */
+  eldap_open,                    /* open function */
+  NULL,                          /* check function */
+  eldap_find,                    /* find function */
+  NULL,                          /* no close function */
+  eldap_tidy,                    /* tidy function */
+  eldap_quote,                   /* quoting function */
+  ldap_version_report            /* version reporting */
+};
+
+static lookup_info ldapdn_lookup_info = {
+  US"ldapdn",                     /* lookup name */
+  lookup_querystyle,             /* query-style lookup */
+  eldap_open,       /* sic */    /* open function */
+  NULL,                          /* check function */
+  eldapdn_find,                  /* find function */
+  NULL,                          /* no close function */
+  eldap_tidy,       /* sic */    /* tidy function */
+  eldap_quote,      /* sic */    /* quoting function */
+  NULL                           /* no version reporting (redundant) */
+};
+
+static lookup_info ldapm_lookup_info = {
+  US"ldapm",                     /* lookup name */
+  lookup_querystyle,             /* query-style lookup */
+  eldap_open,       /* sic */    /* open function */
+  NULL,                          /* check function */
+  eldapm_find,                   /* find function */
+  NULL,                          /* no close function */
+  eldap_tidy,       /* sic */    /* tidy function */
+  eldap_quote,      /* sic */    /* quoting function */
+  NULL                           /* no version reporting (redundant) */
+};
+
+#ifdef DYNLOOKUP
+#define ldap_lookup_module_info _lookup_module_info
+#endif
+
+static lookup_info *_lookup_list[] = { &ldap_lookup_info, &ldapdn_lookup_info, &ldapm_lookup_info };
+lookup_module_info ldap_lookup_module_info = { LOOKUP_MODULE_INFO_MAGIC, _lookup_list, 3 };
 
 /* End of lookups/ldap.c */