src/src/store.c

   1 /*************************************************
   2 *     Exim - an Internet mail transport agent    *
   3 *************************************************/
   4
   5 /* Copyright (c) University of Cambridge 1995 - 2018 */
   6 /* Copyright (c) The Exim maintainers 2019 */
   7 /* See the file NOTICE for conditions of use and distribution. */
   8
   9 /* Exim gets and frees all its store through these functions. In the original
  10 implementation there was a lot of mallocing and freeing of small bits of store.
  11 The philosophy has now changed to a scheme which includes the concept of
  12 "stacking pools" of store. For the short-lived processes, there isn't any real
  13 need to do any garbage collection, but the stack concept allows quick resetting
  14 in places where this seems sensible.
  15
  16 Obviously the long-running processes (the daemon, the queue runner, and eximon)
  17 must take care not to eat store.
  18
  19 The following different types of store are recognized:
  20
  21 . Long-lived, large blocks: This is implemented by retaining the original
  22   malloc/free functions, and it used for permanent working buffers and for
  23   getting blocks to cut up for the other types.
  24
  25 . Long-lived, small blocks: This is used for blocks that have to survive until
  26   the process exits. It is implemented as a stacking pool (POOL_PERM). This is
  27   functionally the same as store_malloc(), except that the store can't be
  28   freed, but I expect it to be more efficient for handling small blocks.
  29
  30 . Short-lived, short blocks: Most of the dynamic store falls into this
  31   category. It is implemented as a stacking pool (POOL_MAIN) which is reset
  32   after accepting a message when multiple messages are received by a single
  33   process. Resetting happens at some other times as well, usually fairly
  34   locally after some specific processing that needs working store.
  35
  36 . There is a separate pool (POOL_SEARCH) that is used only for lookup storage.
  37   This means it can be freed when search_tidyup() is called to close down all
  38   the lookup caching.
  39
  40 . Orthogonal to the three pool types, there are two classes of memory: untainted
  41   and tainted.  The latter is used for values derived from untrusted input, and
  42   the string-expansion mechanism refuses to operate on such values (obviously,
  43   it can expand an untainted value to return a tainted result).  The classes
  44   are implemented by duplicating the three pool types. Pool resets are requested
  45   against the nontainted sibling and apply to both siblings.
  46 */
  47
  48
  49 #include "exim.h"
  50 /* keep config.h before memcheck.h, for NVALGRIND */
  51 #include "config.h"
  52
  53 #include <sys/mman.h>
  54 #include "memcheck.h"
  55
  56
  57 /* We need to know how to align blocks of data for general use. I'm not sure
  58 how to get an alignment factor in general. In the current world, a value of 8
  59 is probably right, and this is sizeof(double) on some systems and sizeof(void
  60 *) on others, so take the larger of those. Since everything in this expression
  61 is a constant, the compiler should optimize it to a simple constant wherever it
  62 appears (I checked that gcc does do this). */
  63
  64 #define alignment \
  65   (sizeof(void *) > sizeof(double) ? sizeof(void *) : sizeof(double))
  66
  67 /* store_reset() will not free the following block if the last used block has
  68 less than this much left in it. */
  69
  70 #define STOREPOOL_MIN_SIZE 256
  71
  72 /* Structure describing the beginning of each big block. */
  73
  74 typedef struct storeblock {
  75   struct storeblock *next;
  76   size_t length;
  77 } storeblock;
  78
  79 /* Just in case we find ourselves on a system where the structure above has a
  80 length that is not a multiple of the alignment, set up a macro for the padded
  81 length. */
  82
  83 #define ALIGNED_SIZEOF_STOREBLOCK \
  84   (((sizeof(storeblock) + alignment - 1) / alignment) * alignment)
  85
  86 /* Size of block to get from malloc to carve up into smaller ones. This
  87 must be a multiple of the alignment. We assume that 8192 is going to be
  88 suitably aligned. */
  89
  90 #define STORE_BLOCK_SIZE (8192 - ALIGNED_SIZEOF_STOREBLOCK)
  91
  92 /* Variables holding data for the local pools of store. The current pool number
  93 is held in store_pool, which is global so that it can be changed from outside.
  94 Setting the initial length values to -1 forces a malloc for the first call,
  95 even if the length is zero (which is used for getting a point to reset to). */
  96
  97 int store_pool = POOL_MAIN;
  98
  99 #define NPOOLS 6
 100 static storeblock *chainbase[NPOOLS];
 101 static storeblock *current_block[NPOOLS];
 102 static void *next_yield[NPOOLS];
 103 static int yield_length[NPOOLS] = { -1, -1, -1,  -1, -1, -1 };
 104
 105 /* The limits of the tainted pools.  Tracking these on new allocations enables
 106 a fast is_tainted implementation. We assume the kernel only allocates mmaps using
 107 one side or the other of data+heap, not both. */
 108
 109 static void * tainted_base = (void *)-1;
 110 static void * tainted_top = (void *)0;
 111
 112 /* pool_malloc holds the amount of memory used by the store pools; this goes up
 113 and down as store is reset or released. nonpool_malloc is the total got by
 114 malloc from other calls; this doesn't go down because it is just freed by
 115 pointer. */
 116
 117 static int pool_malloc;
 118 static int nonpool_malloc;
 119
 120 /* This variable is set by store_get() to its yield, and by store_reset() to
 121 NULL. This enables string_cat() to optimize its store handling for very long
 122 strings. That's why the variable is global. */
 123
 124 void *store_last_get[NPOOLS];
 125
 126 /* These are purely for stats-gathering */
 127
 128 static int nbytes[NPOOLS];      /* current bytes allocated */
 129 static int maxbytes[NPOOLS];    /* max number reached */
 130 static int nblocks[NPOOLS];     /* current number of blocks allocated */
 131 static int maxblocks[NPOOLS];
 132 static int n_nonpool_blocks;    /* current number of direct store_malloc() blocks */
 133 static int max_nonpool_blocks;
 134 static int max_pool_malloc;     /* max value for pool_malloc */
 135 static int max_nonpool_malloc;  /* max value for nonpool_malloc */
 136
 137
 138 static const uschar * pooluse[NPOOLS] = {
 139 [POOL_MAIN] =           US"main",
 140 [POOL_PERM] =           US"perm",
 141 [POOL_SEARCH] =         US"search",
 142 [POOL_TAINT_MAIN] =     US"main",
 143 [POOL_TAINT_PERM] =     US"perm",
 144 [POOL_TAINT_SEARCH] =   US"search",
 145 };
 146 static const uschar * poolclass[NPOOLS] = {
 147 [POOL_MAIN] =           US"untainted",
 148 [POOL_PERM] =           US"untainted",
 149 [POOL_SEARCH] =         US"untainted",
 150 [POOL_TAINT_MAIN] =     US"tainted",
 151 [POOL_TAINT_PERM] =     US"tainted",
 152 [POOL_TAINT_SEARCH] =   US"tainted",
 153 };
 154
 155
 156 static void * store_mmap(int, const char *, int);
 157 static void * internal_store_malloc(int, const char *, int);
 158 static void   internal_store_free(void *, const char *, int linenumber);
 159
 160 /******************************************************************************/
 161
 162 /* Predicate: if an address is in a tainted pool.
 163 By extension, a variable pointing to this address is tainted.
 164 */
 165
 166 BOOL
 167 is_tainted(const void * p)
 168 {
 169 BOOL rc = p >= tainted_base && p < tainted_top;
 170
 171 #ifndef COMPILE_UTILITY
 172 DEBUG(D_memory) if (rc) debug_printf_indent("is_tainted: YES\n");
 173 #endif
 174 return rc;
 175 }
 176
 177 void
 178 die_tainted(const uschar * msg, const uschar * func, int line)
 179 {
 180 log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Taint mismatch, %s: %s %d\n",
 181         msg, func, line);
 182 }
 183
 184
 185 /*************************************************
 186 *       Get a block from the current pool        *
 187 *************************************************/
 188
 189 /* Running out of store is a total disaster. This function is called via the
 190 macro store_get(). It passes back a block of store within the current big
 191 block, getting a new one if necessary. The address is saved in
 192 store_last_was_get.
 193
 194 Arguments:
 195   size        amount wanted
 196   func        function from which called
 197   linenumber  line number in source file
 198
 199 Returns:      pointer to store (panic on malloc failure)
 200 */
 201
 202 void *
 203 store_get_3(int size, BOOL tainted, const char *func, int linenumber)
 204 {
 205 int pool = tainted ? store_pool + POOL_TAINT_BASE : store_pool;
 206
 207 /* Round up the size to a multiple of the alignment. Although this looks a
 208 messy statement, because "alignment" is a constant expression, the compiler can
 209 do a reasonable job of optimizing, especially if the value of "alignment" is a
 210 power of two. I checked this with -O2, and gcc did very well, compiling it to 4
 211 instructions on a Sparc (alignment = 8). */
 212
 213 if (size % alignment != 0) size += alignment - (size % alignment);
 214
 215 /* If there isn't room in the current block, get a new one. The minimum
 216 size is STORE_BLOCK_SIZE, and we would expect this to be the norm, since
 217 these functions are mostly called for small amounts of store. */
 218
 219 if (size > yield_length[pool])
 220   {
 221   int length = size <= STORE_BLOCK_SIZE ? STORE_BLOCK_SIZE : size;
 222   int mlength = length + ALIGNED_SIZEOF_STOREBLOCK;
 223   storeblock * newblock;
 224
 225   /* Sometimes store_reset() may leave a block for us; check if we can use it */
 226
 227   if (  (newblock = current_block[pool])
 228      && (newblock = newblock->next)
 229      && newblock->length < length
 230      )
 231     {
 232     /* Give up on this block, because it's too small */
 233     nblocks[pool]--;
 234     if (pool < POOL_TAINT_BASE)
 235       internal_store_free(newblock, func, linenumber);
 236     else
 237       {
 238 #ifndef COMPILE_UTILITY
 239       DEBUG(D_memory)
 240         debug_printf("---Unmap %6p %-20s %4d\n", newblock, func, linenumber);
 241 #endif
 242       munmap(newblock, newblock->length + ALIGNED_SIZEOF_STOREBLOCK);
 243       }
 244     newblock = NULL;
 245     }
 246
 247   /* If there was no free block, get a new one */
 248
 249   if (!newblock)
 250     {
 251     if ((nbytes[pool] += mlength) > maxbytes[pool])
 252       maxbytes[pool] = nbytes[pool];
 253     if ((pool_malloc += mlength) > max_pool_malloc)     /* Used in pools */
 254       max_pool_malloc = pool_malloc;
 255     nonpool_malloc -= mlength;                  /* Exclude from overall total */
 256     if (++nblocks[pool] > maxblocks[pool])
 257       maxblocks[pool] = nblocks[pool];
 258
 259     newblock = tainted
 260       ? store_mmap(mlength, func, linenumber)
 261       : internal_store_malloc(mlength, func, linenumber);
 262     newblock->next = NULL;
 263     newblock->length = length;
 264
 265     if (!chainbase[pool])
 266       chainbase[pool] = newblock;
 267     else
 268       current_block[pool]->next = newblock;
 269     }
 270
 271   current_block[pool] = newblock;
 272   yield_length[pool] = newblock->length;
 273   next_yield[pool] =
 274     (void *)(CS current_block[pool] + ALIGNED_SIZEOF_STOREBLOCK);
 275   (void) VALGRIND_MAKE_MEM_NOACCESS(next_yield[pool], yield_length[pool]);
 276   }
 277
 278 /* There's (now) enough room in the current block; the yield is the next
 279 pointer. */
 280
 281 store_last_get[pool] = next_yield[pool];
 282
 283 /* Cut out the debugging stuff for utilities, but stop picky compilers from
 284 giving warnings. */
 285
 286 #ifdef COMPILE_UTILITY
 287 func = func;
 288 linenumber = linenumber;
 289 #else
 290 DEBUG(D_memory)
 291   debug_printf("---%d Get %6p %5d %-14s %4d\n", pool,
 292     store_last_get[pool], size, func, linenumber);
 293 #endif  /* COMPILE_UTILITY */
 294
 295 (void) VALGRIND_MAKE_MEM_UNDEFINED(store_last_get[pool], size);
 296 /* Update next pointer and number of bytes left in the current block. */
 297
 298 next_yield[pool] = (void *)(CS next_yield[pool] + size);
 299 yield_length[pool] -= size;
 300 return store_last_get[pool];
 301 }
 302
 303
 304
 305 /*************************************************
 306 *       Get a block from the PERM pool           *
 307 *************************************************/
 308
 309 /* This is just a convenience function, useful when just a single block is to
 310 be obtained.
 311
 312 Arguments:
 313   size        amount wanted
 314   func        function from which called
 315   linenumber  line number in source file
 316
 317 Returns:      pointer to store (panic on malloc failure)
 318 */
 319
 320 void *
 321 store_get_perm_3(int size, BOOL tainted, const char *func, int linenumber)
 322 {
 323 void *yield;
 324 int old_pool = store_pool;
 325 store_pool = POOL_PERM;
 326 yield = store_get_3(size, tainted, func, linenumber);
 327 store_pool = old_pool;
 328 return yield;
 329 }
 330
 331
 332
 333 /*************************************************
 334 *      Extend a block if it is at the top        *
 335 *************************************************/
 336
 337 /* While reading strings of unknown length, it is often the case that the
 338 string is being read into the block at the top of the stack. If it needs to be
 339 extended, it is more efficient just to extend within the top block rather than
 340 allocate a new block and then have to copy the data. This function is provided
 341 for the use of string_cat(), but of course can be used elsewhere too.
 342 The block itself is not expanded; only the top allocation from it.
 343
 344 Arguments:
 345   ptr        pointer to store block
 346   oldsize    current size of the block, as requested by user
 347   newsize    new size required
 348   func       function from which called
 349   linenumber line number in source file
 350
 351 Returns:     TRUE if the block is at the top of the stack and has been
 352              extended; FALSE if it isn't at the top of the stack, or cannot
 353              be extended
 354 */
 355
 356 BOOL
 357 store_extend_3(void *ptr, BOOL tainted, int oldsize, int newsize,
 358    const char *func, int linenumber)
 359 {
 360 int pool = tainted ? store_pool + POOL_TAINT_BASE : store_pool;
 361 int inc = newsize - oldsize;
 362 int rounded_oldsize = oldsize;
 363
 364 /* Check that the block being extended was already of the required taint status;
 365 refuse to extend if not. */
 366
 367 if (is_tainted(ptr) != tainted)
 368   return FALSE;
 369
 370 if (rounded_oldsize % alignment != 0)
 371   rounded_oldsize += alignment - (rounded_oldsize % alignment);
 372
 373 if (CS ptr + rounded_oldsize != CS (next_yield[pool]) ||
 374     inc > yield_length[pool] + rounded_oldsize - oldsize)
 375   return FALSE;
 376
 377 /* Cut out the debugging stuff for utilities, but stop picky compilers from
 378 giving warnings. */
 379
 380 #ifdef COMPILE_UTILITY
 381 func = func;
 382 linenumber = linenumber;
 383 #else
 384 DEBUG(D_memory)
 385   debug_printf("---%d Ext %6p %5d %-14s %4d\n", pool, ptr, newsize,
 386     func, linenumber);
 387 #endif  /* COMPILE_UTILITY */
 388
 389 if (newsize % alignment != 0) newsize += alignment - (newsize % alignment);
 390 next_yield[pool] = CS ptr + newsize;
 391 yield_length[pool] -= newsize - rounded_oldsize;
 392 (void) VALGRIND_MAKE_MEM_UNDEFINED(ptr + oldsize, inc);
 393 return TRUE;
 394 }
 395
 396
 397
 398
 399 /*************************************************
 400 *    Back up to a previous point on the stack    *
 401 *************************************************/
 402
 403 /* This function resets the next pointer, freeing any subsequent whole blocks
 404 that are now unused. Call with a cookie obtained from store_mark() only; do
 405 not call with a pointer returned by store_get().  Both the untainted and tainted
 406 pools corresposding to store_pool are reset.
 407
 408 Arguments:
 409   r           place to back up to
 410   func        function from which called
 411   linenumber  line number in source file
 412
 413 Returns:      nothing
 414 */
 415
 416 static void
 417 internal_store_reset(void * ptr, int pool, const char *func, int linenumber)
 418 {
 419 storeblock * bb;
 420 storeblock * b = current_block[pool];
 421 char * bc = CS b + ALIGNED_SIZEOF_STOREBLOCK;
 422 int newlength, count;
 423 #ifndef COMPILE_UTILITY
 424 int oldmalloc = pool_malloc;
 425 #endif
 426
 427 /* Last store operation was not a get */
 428
 429 store_last_get[pool] = NULL;
 430
 431 /* See if the place is in the current block - as it often will be. Otherwise,
 432 search for the block in which it lies. */
 433
 434 if (CS ptr < bc || CS ptr > bc + b->length)
 435   {
 436   for (b = chainbase[pool]; b; b = b->next)
 437     {
 438     bc = CS b + ALIGNED_SIZEOF_STOREBLOCK;
 439     if (CS ptr >= bc && CS ptr <= bc + b->length) break;
 440     }
 441   if (!b)
 442     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "internal error: store_reset(%p) "
 443       "failed: pool=%d %-14s %4d", ptr, pool, func, linenumber);
 444   }
 445
 446 /* Back up, rounding to the alignment if necessary. When testing, flatten
 447 the released memory. */
 448
 449 newlength = bc + b->length - CS ptr;
 450 #ifndef COMPILE_UTILITY
 451 if (debug_store)
 452   {
 453   assert_no_variables(ptr, newlength, func, linenumber);
 454   if (f.running_in_test_harness)
 455     {
 456     (void) VALGRIND_MAKE_MEM_DEFINED(ptr, newlength);
 457     memset(ptr, 0xF0, newlength);
 458     }
 459   }
 460 #endif
 461 (void) VALGRIND_MAKE_MEM_NOACCESS(ptr, newlength);
 462 next_yield[pool] = CS ptr + (newlength % alignment);
 463 count = yield_length[pool];
 464 count = (yield_length[pool] = newlength - (newlength % alignment)) - count;
 465 current_block[pool] = b;
 466
 467 /* Free any subsequent block. Do NOT free the first
 468 successor, if our current block has less than 256 bytes left. This should
 469 prevent us from flapping memory. However, keep this block only when it has
 470 the default size. */
 471
 472 if (  yield_length[pool] < STOREPOOL_MIN_SIZE
 473    && b->next
 474    && b->next->length == STORE_BLOCK_SIZE)
 475   {
 476   b = b->next;
 477 #ifndef COMPILE_UTILITY
 478   if (debug_store)
 479     assert_no_variables(b, b->length + ALIGNED_SIZEOF_STOREBLOCK,
 480                         func, linenumber);
 481 #endif
 482   (void) VALGRIND_MAKE_MEM_NOACCESS(CS b + ALIGNED_SIZEOF_STOREBLOCK,
 483                 b->length - ALIGNED_SIZEOF_STOREBLOCK);
 484   }
 485
 486 bb = b->next;
 487 b->next = NULL;
 488
 489 while ((b = bb))
 490   {
 491   int siz = b->length + ALIGNED_SIZEOF_STOREBLOCK;
 492 #ifndef COMPILE_UTILITY
 493   if (debug_store)
 494     assert_no_variables(b, b->length + ALIGNED_SIZEOF_STOREBLOCK,
 495                         func, linenumber);
 496 #endif
 497   bb = bb->next;
 498   nbytes[pool] -= siz;
 499   pool_malloc -= siz;
 500   nblocks[pool]--;
 501   if (pool < POOL_TAINT_BASE)
 502     internal_store_free(b, func, linenumber);
 503   else
 504     {
 505 #ifndef COMPILE_UTILITY
 506     DEBUG(D_memory)
 507       debug_printf("---Unmap %6p %-20s %4d\n", b, func, linenumber);
 508 #endif
 509     munmap(b, b->length + ALIGNED_SIZEOF_STOREBLOCK);
 510     }
 511   }
 512
 513 /* Cut out the debugging stuff for utilities, but stop picky compilers from
 514 giving warnings. */
 515
 516 #ifdef COMPILE_UTILITY
 517 func = func;
 518 linenumber = linenumber;
 519 #else
 520 DEBUG(D_memory)
 521   debug_printf("---%d Rst %6p %5d %-14s %4d %d\n", pool, ptr,
 522     count + oldmalloc - pool_malloc,
 523     func, linenumber, pool_malloc);
 524 #endif  /* COMPILE_UTILITY */
 525 }
 526
 527
 528 rmark
 529 store_reset_3(rmark r, int pool, const char *func, int linenumber)
 530 {
 531 void ** ptr = r;
 532
 533 if (pool >= POOL_TAINT_BASE)
 534   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
 535     "store_reset called for pool %d: %s %d\n", pool, func, linenumber);
 536 if (!r)
 537   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
 538     "store_reset called with bad mark: %s %d\n", func, linenumber);
 539
 540 internal_store_reset(*ptr, pool + POOL_TAINT_BASE, func, linenumber);
 541 internal_store_reset(ptr,  pool,                   func, linenumber);
 542 return NULL;
 543 }
 544
 545
 546
 547 /* Free tail-end unused allocation.  This lets us allocate a big chunk
 548 early, for cases when we only discover later how much was really needed.
 549
 550 Can be called with a value from store_get(), or an offset after such.  Only
 551 the tainted or untainted pool that serviced the store_get() will be affected.
 552
 553 This is mostly a cut-down version of internal_store_reset().
 554 XXX needs rationalising
 555 */
 556
 557 void
 558 store_release_above_3(void *ptr, const char *func, int linenumber)
 559 {
 560 /* Search all pools' "current" blocks.  If it isn't one of those,
 561 ignore it (it usually will be). */
 562
 563 for (int pool = 0; pool < nelem(current_block); pool++)
 564   {
 565   storeblock * b = current_block[pool];
 566   char * bc;
 567   int count, newlength;
 568
 569   if (!b)
 570     continue;
 571
 572   bc = CS b + ALIGNED_SIZEOF_STOREBLOCK;
 573   if (CS ptr < bc || CS ptr > bc + b->length)
 574     continue;
 575
 576   /* Last store operation was not a get */
 577
 578   store_last_get[pool] = NULL;
 579
 580   /* Back up, rounding to the alignment if necessary. When testing, flatten
 581   the released memory. */
 582
 583   newlength = bc + b->length - CS ptr;
 584 #ifndef COMPILE_UTILITY
 585   if (debug_store)
 586     {
 587     assert_no_variables(ptr, newlength, func, linenumber);
 588     if (f.running_in_test_harness)
 589       {
 590       (void) VALGRIND_MAKE_MEM_DEFINED(ptr, newlength);
 591       memset(ptr, 0xF0, newlength);
 592       }
 593     }
 594 #endif
 595   (void) VALGRIND_MAKE_MEM_NOACCESS(ptr, newlength);
 596   next_yield[pool] = CS ptr + (newlength % alignment);
 597   count = yield_length[pool];
 598   count = (yield_length[pool] = newlength - (newlength % alignment)) - count;
 599
 600   /* Cut out the debugging stuff for utilities, but stop picky compilers from
 601   giving warnings. */
 602
 603 #ifdef COMPILE_UTILITY
 604   func = func;
 605   linenumber = linenumber;
 606 #else
 607   DEBUG(D_memory)
 608     debug_printf("---%d Rel %6p %5d %-14s %4d %d\n", pool, ptr, count,
 609       func, linenumber, pool_malloc);
 610 #endif
 611   return;
 612   }
 613 #ifndef COMPILE_UTILITY
 614 DEBUG(D_memory)
 615   debug_printf("non-last memory release try: %s %d\n", func, linenumber);
 616 #endif
 617 }
 618
 619
 620
 621 rmark
 622 store_mark_3(const char *func, int linenumber)
 623 {
 624 void ** p;
 625
 626 if (store_pool >= POOL_TAINT_BASE)
 627   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
 628     "store_mark called for pool %d: %s %d\n", store_pool, func, linenumber);
 629
 630 /* Stash a mark for the tainted-twin release, in the untainted twin. Return
 631 a cookie (actually the address in the untainted pool) to the caller.
 632 Reset uses the cookie to recover the t-mark, winds back the tainted pool with it
 633 and winds back the untainted pool with the cookie. */
 634
 635 p = store_get_3(sizeof(void *), FALSE, func, linenumber);
 636 *p = store_get_3(0, TRUE, func, linenumber);
 637 return p;
 638 }
 639
 640
 641
 642
 643 /************************************************
 644 *             Release store                     *
 645 ************************************************/
 646
 647 /* This function checks that the pointer it is given is the first thing in a
 648 block, and if so, releases that block.
 649
 650 Arguments:
 651   block       block of store to consider
 652   func        function from which called
 653   linenumber  line number in source file
 654
 655 Returns:      nothing
 656 */
 657
 658 static void
 659 store_release_3(void * block, int pool, const char * func, int linenumber)
 660 {
 661 /* It will never be the first block, so no need to check that. */
 662
 663 for (storeblock * b = chainbase[pool]; b; b = b->next)
 664   {
 665   storeblock * bb = b->next;
 666   if (bb && CS block == CS bb + ALIGNED_SIZEOF_STOREBLOCK)
 667     {
 668     int siz = bb->length + ALIGNED_SIZEOF_STOREBLOCK;
 669     b->next = bb->next;
 670     nbytes[pool] -= siz;
 671     pool_malloc -= siz;
 672     nblocks[pool]--;
 673
 674     /* Cut out the debugging stuff for utilities, but stop picky compilers
 675     from giving warnings. */
 676
 677 #ifdef COMPILE_UTILITY
 678     func = func;
 679     linenumber = linenumber;
 680 #else
 681     DEBUG(D_memory)
 682       debug_printf("-Release %6p %-20s %4d %d\n", (void *)bb, func,
 683         linenumber, pool_malloc);
 684
 685     if (f.running_in_test_harness)
 686       memset(bb, 0xF0, bb->length+ALIGNED_SIZEOF_STOREBLOCK);
 687 #endif  /* COMPILE_UTILITY */
 688
 689     free(bb);
 690     return;
 691     }
 692   }
 693 }
 694
 695
 696 /************************************************
 697 *             Move store                        *
 698 ************************************************/
 699
 700 /* Allocate a new block big enough to expend to the given size and
 701 copy the current data into it.  Free the old one if possible.
 702
 703 This function is specifically provided for use when reading very
 704 long strings, e.g. header lines. When the string gets longer than a
 705 complete block, it gets copied to a new block. It is helpful to free
 706 the old block iff the previous copy of the string is at its start,
 707 and therefore the only thing in it. Otherwise, for very long strings,
 708 dead store can pile up somewhat disastrously. This function checks that
 709 the pointer it is given is the first thing in a block, and that nothing
 710 has been allocated since. If so, releases that block.
 711
 712 Arguments:
 713   block
 714   newsize
 715   len
 716
 717 Returns:        new location of data
 718 */
 719
 720 void *
 721 store_newblock_3(void * block, BOOL tainted, int newsize, int len,
 722   const char * func, int linenumber)
 723 {
 724 int pool = tainted ? store_pool + POOL_TAINT_BASE : store_pool;
 725 BOOL release_ok = !tainted && store_last_get[pool] == block;
 726 uschar * newtext;
 727
 728 if (is_tainted(block) != tainted)
 729   die_tainted(US"store_newblock", CUS func, linenumber);
 730
 731 newtext = store_get(newsize, tainted);
 732 memcpy(newtext, block, len);
 733 if (release_ok) store_release_3(block, pool, func, linenumber);
 734 return (void *)newtext;
 735 }
 736
 737
 738
 739
 740 /******************************************************************************/
 741 static void *
 742 store_alloc_tail(void * yield, int size, const char * func, int line,
 743   const uschar * type)
 744 {
 745 if ((nonpool_malloc += size) > max_nonpool_malloc)
 746   max_nonpool_malloc = nonpool_malloc;
 747
 748 /* Cut out the debugging stuff for utilities, but stop picky compilers from
 749 giving warnings. */
 750
 751 #ifdef COMPILE_UTILITY
 752 func = func; line = line; type = type;
 753 #else
 754
 755 /* If running in test harness, spend time making sure all the new store
 756 is not filled with zeros so as to catch problems. */
 757
 758 if (f.running_in_test_harness)
 759   memset(yield, 0xF0, (size_t)size);
 760 DEBUG(D_memory) debug_printf("--%6s %6p %5d bytes\t%-14s %4d\tpool %5d  nonpool %5d\n",
 761   type, yield, size, func, line, pool_malloc, nonpool_malloc);
 762 #endif  /* COMPILE_UTILITY */
 763
 764 return yield;
 765 }
 766
 767 /*************************************************
 768 *                Mmap store                      *
 769 *************************************************/
 770
 771 static void *
 772 store_mmap(int size, const char * func, int line)
 773 {
 774 void * yield, * top;
 775
 776 if (size < 16) size = 16;
 777
 778 if (!(yield = mmap(NULL, (size_t)size,
 779                   PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0)))
 780   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "failed to mmap %d bytes of memory: "
 781     "called from line %d of %s", size, line, func);
 782
 783 if (yield < tainted_base) tainted_base = yield;
 784 if ((top = yield + size) > tainted_top) tainted_top = top;
 785
 786 return store_alloc_tail(yield, size, func, line, US"Mmap");
 787 }
 788
 789 /*************************************************
 790 *                Malloc store                    *
 791 *************************************************/
 792
 793 /* Running out of store is a total disaster for exim. Some malloc functions
 794 do not run happily on very small sizes, nor do they document this fact. This
 795 function is called via the macro store_malloc().
 796
 797 Arguments:
 798   size        amount of store wanted
 799   func        function from which called
 800   linenumber  line number in source file
 801
 802 Returns:      pointer to gotten store (panic on failure)
 803 */
 804
 805 static void *
 806 internal_store_malloc(int size, const char *func, int linenumber)
 807 {
 808 void * yield;
 809
 810 if (size < 16) size = 16;
 811
 812 if (!(yield = malloc((size_t)size)))
 813   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "failed to malloc %d bytes of memory: "
 814     "called from line %d in %s", size, linenumber, func);
 815
 816 return store_alloc_tail(yield, size, func, linenumber, US"Malloc");
 817 }
 818
 819 void *
 820 store_malloc_3(int size, const char *func, int linenumber)
 821 {
 822 if (n_nonpool_blocks++ > max_nonpool_blocks)
 823   max_nonpool_blocks = n_nonpool_blocks;
 824 return internal_store_malloc(size, func, linenumber);
 825 }
 826
 827
 828 /************************************************
 829 *             Free store                        *
 830 ************************************************/
 831
 832 /* This function is called by the macro store_free().
 833
 834 Arguments:
 835   block       block of store to free
 836   func        function from which called
 837   linenumber  line number in source file
 838
 839 Returns:      nothing
 840 */
 841
 842 static void
 843 internal_store_free(void *block, const char *func, int linenumber)
 844 {
 845 #ifdef COMPILE_UTILITY
 846 func = func;
 847 linenumber = linenumber;
 848 #else
 849 DEBUG(D_memory)
 850   debug_printf("----Free %6p %-20s %4d\n", block, func, linenumber);
 851 #endif  /* COMPILE_UTILITY */
 852 free(block);
 853 }
 854
 855 void
 856 store_free_3(void *block, const char *func, int linenumber)
 857 {
 858 n_nonpool_blocks--;
 859 internal_store_free(block, func, linenumber);
 860 }
 861
 862 /******************************************************************************/
 863 /* Stats output on process exit */
 864 void
 865 store_exit(void)
 866 {
 867 #ifndef COMPILE_UTILITY
 868 DEBUG(D_memory)
 869  {
 870  debug_printf("----Exit nonpool max: %3d kB in %d blocks\n",
 871   (max_nonpool_malloc+1023)/1024, max_nonpool_blocks);
 872  debug_printf("----Exit npools  max: %3d kB\n", max_pool_malloc/1024);
 873  for (int i = 0; i < NPOOLS; i++)
 874   debug_printf("----Exit  pool %d max: %3d kB in %d blocks\t%s %s\n",
 875     i, maxbytes[i]/1024, maxblocks[i], poolclass[i], pooluse[i]);
 876  }
 877 #endif
 878 }
 879
 880 /* End of store.c */