Don't ignore group on a router when the transport has no user/group
[users/jgh/exim.git] / doc / doc-misc / WishList
index 391bde97877d0538a8a5f6fca36f88ae7d2d727f..808626dd0e3520122e6f7fdbf845cd623df0a28a 100644 (file)
@@ -1,4 +1,4 @@
-$Cambridge: exim/doc/doc-misc/WishList,v 1.14 2004/12/07 14:23:56 ph10 Exp $
+$Cambridge: exim/doc/doc-misc/WishList,v 1.57 2005/11/17 10:15:28 ph10 Exp $
 
 EXIM 4 WISH LIST
 ----------------
@@ -72,7 +72,7 @@ Oliver Smith
 
 The problem with header_remove followed by header_add is that you can't refer
 to the previous value of the header when adding a replacement. This could be
-solved with a replace_header option.
+solved with a replace_header option. See also Exim 4/333.
 ------------------------------------------------------------------------------
 
 (43) 15-Oct-98  M  Sender rewrite *after* SMTP incoming checks
@@ -124,7 +124,7 @@ http://www.net.lut.ac.uk/~martin/antispam/exim-hacks/
 Dave Lewney
 John Holman
 
-Such as "return-receipt-to". See also 41.
+Such as "return-receipt-to". See also 41. See also Exim 4/333.
 ------------------------------------------------------------------------------
 
 (90) 21-Apr-99  M  change wild prefix/suffix greediness
@@ -301,7 +301,8 @@ This would allow special handling of certain errors from certain hosts. In
 particular, it would allow failing of certain 4xx codes.
 
 This is now available for 4xx responses to RCPT commands. Is anything more
-needed?
+needed? Apparently, yes; there's been a request for a similar feature for MAIL
+commands.
 ------------------------------------------------------------------------------
 
 (148) 15-May-2000 S  Warn recipient if message rejected for quota excession.
@@ -320,7 +321,7 @@ be tricky to specify, hence the L.
 
 A separate but related issue is the effect of headers added by "unseen"
 directors. These are documented in chapter 19 as not being accumulated. Should
-any change be made?
+any change be made? See also Exim 4/333.
 ------------------------------------------------------------------------------
 
 (155) 16-Jun-2000 M  Special handling for certain hosts
@@ -365,15 +366,6 @@ delivery to a given address rather than freezing the message. Use the errors_to
 address?
 ------------------------------------------------------------------------------
 
-(172)  11-Sep-2000 S  Allow file/directory in appendfile to override
-"Michael J. Tubby"
-
-When appendfile is called from forward or filter files, it ignores file or
-directory settings. Maybe they should override. The path set by the forward or
-filter is available in $address_file these days, so it could be used to create
-a longer path.
-------------------------------------------------------------------------------
-
 (173)  18-Sep-2000 S  A way of doing lsearches with EOL terminated keys
 Jason Robertson
 
@@ -381,10 +373,6 @@ This is for looking up things like subject contents. Probably need an option to
 exim_dbmbuild to make them into DBM files.
 ------------------------------------------------------------------------------
 
-(174)  19-Sep-2000 S  A way of using a different port for fallback hosts.
-Dean Brooks
-------------------------------------------------------------------------------
-
 (181)  10-Nov-2000 S  Compile-time options for ignoring Sendmail options
 
 So that new ones could be accommodated easily.
@@ -423,12 +411,6 @@ latter would worth the hassle), in a way like:
         headers_remove = "X-*:Additional-header"
 ------------------------------------------------------------------------------
 
-(188)  02-Jan-2001 S  Make pipe timeout a temporary error
-Georg v.Zezschwitz
-
-A way to make a timeout into a temporary error.
-------------------------------------------------------------------------------
-
 (190)  03-Jan-2001 M  Multiple message operations in eximon
 ------------------------------------------------------------------------------
 
@@ -458,10 +440,6 @@ could be put into $recipient, but that risks confusion with $recipients
 might have. At ACL time, one would need to verify the recipient, and determine
 that it routed to host X.
 
-. A new lookup library that operates on a specially prepared file of IP
-addresses and masks so that a single "lookup" yields a yes/no answer. This
-should be a freestanding thing - needs a utility to build the file from a list.
-
 . People want to change the wording of messages; can we find an efficient way
 of allowing this? (Maybe put all messages into a separate module?) The problem
 is not in the messages themselves, but in the values that get inserted into
@@ -492,7 +470,8 @@ can make use of it.
 . Implement randomize for ldap/sql servers.
 
 . Add an option for ETRN that says "wait for the command to finish, and use its
-stdout as the SMTP response."
+stdout as the SMTP response."  // A serialized ETRN now does the waiting, but
+there is as yet no way to use the status. //
 
 . -odsomething for "ignore retry when doing immediate delivery".
 
@@ -500,9 +479,6 @@ stdout as the SMTP response."
 it were 4xx. Or possible add a sophisticated "after command X, treat xxx as
 yyy".
 
-. A way of rewriting addresses in non-standard header lines such as
-Mail-Followup-To.
-
 . Global option to enable initgroups() for exim uid. Default off.
 
 . When verifying a sender, should it be rewritten with any T rewrites, because
@@ -527,8 +503,6 @@ these entries.
 . Options and/or a utility to enable non-privileged users to view the queue
 (e.g. -bpp), manipulate their own messages, etc.
 
-. Specify a port along with a host in a route_list.
-
 . A generalized "From" escaping scheme that also escapes >From so that the
 whole thing can be reversed.
 
@@ -577,15 +551,6 @@ size. Directory scanning is expensive; is there any scope for caching? It would
 seem not (you don't often get two addresses to the same user).
 ------------------------------------------------------------------------------
 
-(4)  01-Jan-02  S  Option to reject if no From: or Date: header line
-
-Exim, in common with many other MTAs, inserts a From: or Date: header line if
-one is missing. (It also inserts a blank Bcc:, but that is no longer needed by
-RFC 2822 - it was by 822.) The suggestion is an option to give an error
-instead. This could be done by making it possible to detect these insertions in
-the acl_smtp_data ACL.
-------------------------------------------------------------------------------
-
 (6)  01-Jan-02  S  Option to disable the use of -t
 Dave C.
 
@@ -596,11 +561,8 @@ Would require work so that Exim itself doesn't use -t.
 John W Baxter
 
 May be tricky, because at the higher levels, the format of the query is not
-understood.
-------------------------------------------------------------------------------
-
-(8)  01-Jan-02  S  Expand once_repeat in autoreply
-John Jetmore
+understood. // There is now a fudge that works in some cases. See ChangeLog
+4.51/PH/10. //
 ------------------------------------------------------------------------------
 
 (9)  01-Jan-02  S  Headers as well as body in file for autoreply
@@ -767,9 +729,11 @@ Client: We need a variant of 'exim -bs' which would connect to a specified
 host, send AUTH/ATRN, and then accept incoming messages as usual.
 ------------------------------------------------------------------------------
 
-(50)  22-May-02 T  Add comment (duplicate address) to Envelope-To:
+(50)  22-May-02 S?  Add comment (duplicate address) to Envelope-To:
 
-This is just to minimize the confusion some people have.
+This is just to minimize the confusion some people have. However, it is not
+trivially easy to decide which to label as duplicates because of complications
+with redirection. I'm not convinced it will actually reduce confusion.
 ------------------------------------------------------------------------------
 
 (51)  07-Jun-02 S  Option to use another address in callout MAIL FROM
@@ -799,7 +763,7 @@ Current rewriting rules apply to individual addresses in header lines. This
 feature would use a regex to match whole lines and replace them. It could be
 useful for patching up syntactically invalid lines from crappy clients, before
 the syntax check kicks in. (It might also be useful for hiding local host names
-in Received: headers.)
+in Received: headers.) See also 333.
 ------------------------------------------------------------------------------
 
 (58)  26-Jun-02 ?  Extend PAM support
@@ -825,7 +789,7 @@ Patrice Fournier
 
 "I'd like to be able to give Exim a list of headers that must be removed
 from the message at arrival, before data_acl processing (and before the
-rcpt_acl warn headers are added to the message)."
+rcpt_acl warn headers are added to the message)." See also 333.
 ------------------------------------------------------------------------------
 
 (63)  28-Jun-02 S  Access to ACL-added headers in ACLs
@@ -833,7 +797,7 @@ Patrice Fournier
 
 "I'd like also to be able to look at the already added headers by a
 rcpt_acl when still checking rcpt_acl (either later in the acl for the same
-RCPT TO or for another RCPT TO)."
+RCPT TO or for another RCPT TO)." See also 333.
 ------------------------------------------------------------------------------
 
 (65)  28-Jun-02 M  Expand fallback hosts
@@ -870,18 +834,6 @@ So as to avoid duplication problems when sending multiple addresses in multiple
 copies to the same address.
 ------------------------------------------------------------------------------
 
-(73)  17-Jul-02 M  Match a list from within a condition
-
-e.g.  ${if matchdomain {$domain}{+domainlist} ...
-      ${if matchhost {$sender_host_address}{1.2.3.4/10:2.3.4.5/16}...
-
-Thought needed about how to handle host names. This may be too messy to specify
-cleanly.
-
-22-Apr-04: Implemented for domains, addresses, and local parts. Hosts are
-too messy!
-------------------------------------------------------------------------------
-
 (74)  22-Jul-02 M  Extend -bV to do more semantic checking
 
 For example, diagnose "local_hosts" that should probably be "+local_hosts".
@@ -1166,6 +1118,8 @@ For sending reasons for slow response, etc.
 ------------------------------------------------------------------------------
 
 (160) 19-May-03 M  Remove headers using wild cards
+
+See also 333.
 ------------------------------------------------------------------------------
 
 (162) 28-May-03 M/L Use of real numbers in filters, expansions, and options
@@ -1201,10 +1155,6 @@ needed is a flag for a rewrite rule.
 Suggested patch supplied.
 ------------------------------------------------------------------------------
 
-(171) 23-Jun-03 S  Option to make timeout a soft failure on pipe transport
-
-------------------------------------------------------------------------------
-
 (172) 23-Jun-03 M  Option to make SQL query to specific server
 
 ------------------------------------------------------------------------------
@@ -1366,6 +1316,8 @@ option, for use with multiple Exim daemons.
 ------------------------------------------------------------------------------
 
 (212) 31-Oct-03 M  specify headers lines in HELO ACL to be added to all msgs
+
+See also 333.
 ------------------------------------------------------------------------------
 
 (214) 05-Nov-03 S  Put the wild part of local part prefix/suffx in variables
@@ -1476,7 +1428,8 @@ and last item with ease; doing this using {if ...} would be quite difficult!"
 (230) 30-Jan-04 M  Find IP addresses of a domain's nameservers
 
 This needs some way of processing a list of things in a similar way, which
-should perhaps be a more general facility.
+should perhaps be a more general facility. // This can now be done using the
+list facilities of dnsdb; verbose, but it can be done. //
 ------------------------------------------------------------------------------
 
 (231) 30-Jan-04 ?  -C has a number of problems when used for real
@@ -1495,7 +1448,9 @@ course, security issues. This is not something I want to go into at present.
 (235) 02-Feb-04 T  Make smtp_accept_count available as a variable
 
 This is for use in ACLs. Of course, it is a snapshot of the count at the
-start of the receiving process.
+start of the receiving process. As such, it could be confusing because if a
+connection lasts a long time, the "true" value could be very different. For
+this reason, I don't really like this idea.
 ------------------------------------------------------------------------------
 
 (236) 02-Feb-04 S  String in local_scan that's added to the binary version string
@@ -1503,7 +1458,8 @@ start of the receiving process.
 
 (237) 02-Feb-04 M  Add_header in ACLs because "message" is overloaded
 
-This would be useful for verbs where "message" is an error message.
+This would be useful for verbs where "message" is an error message. See also
+333.
 ------------------------------------------------------------------------------
 
 (238) 05-Feb-04 S  ${address to handle multiple addresses
@@ -1522,7 +1478,8 @@ library, because there's no crypto code in Exim itself.
 (240) 23-Feb-04 ? Some way to know if a ip is a mx for a given domain
 
 Some kind of iterative operation for dnsdb might be a general way of providing
-this.
+this. // This can now be done using the list facilities of dnsdb; verbose, but
+it can be done. //
 ------------------------------------------------------------------------------
 
 (242) 01-Mar-04 ? Run a filter from an expansion condition
@@ -1612,7 +1569,7 @@ where header lines are added will probably become necessary. Some new syntax
 will be required.
 
 This can now be done fairly generally from local_scan(), and at the start and
-after the Received: block from an ACL. Is anything more needed?
+after the Received: block from an ACL. Is anything more needed? See also 333.
 ------------------------------------------------------------------------------
 
 (271) 02-Jun-04 L Callouts at routing time
@@ -1711,7 +1668,7 @@ include sockets as well as TCP/IP connections. Also, people want to make use of
 AUTH during the callout checking, on all types of connection. I suppose that
 means making TLS available as well. This probably means a rewrite of the code
 that actually does the callout. Should we use the relevant transport in a new
-"callout" mode instead of keeping things separate? See also 253.
+"callout" mode instead of keeping things separate? See also 253 and 323.
 
 And here's another submitted idea: "My actual suggestion is that if this model
 is followed, the parent process doesn't have to stop the callout process if it
@@ -1726,23 +1683,12 @@ callout cache in time for the sender's next attempt."
 What about ** lines?
 ------------------------------------------------------------------------------
 
-(298) 25-Oct-04 S Debugging the daemon process only
-
-When there are daemon problems (e.g. it dies) it would be helpful to be able to
-turn on debugging that did not get passed on to any subprocesses.
-------------------------------------------------------------------------------
-
 (299) 25-Oct-04 S Options to make Sieve "keep" pass to next router
 
 Currently, "keep" saves in the mailbox. Probably need two options, for implicit
 and explicit keep commands.
 ------------------------------------------------------------------------------
 
-(300) 25-Oct-04 S Option to lock out Sieve or Exim filter
-
-Currently, if allow_filter is set, either kind of filter is permitted.
-------------------------------------------------------------------------------
-
 (301) 27-Oct-04 M Use an "ACL" to filter logging
 
 This idea was for ACL syntax to be able to "accept" or "deny" individual log
@@ -1826,5 +1772,250 @@ instead of 550, and also vary the defer code. The first digit, however, should
 remain fixed. In addition to main codes, enhanced status codes (RFC 2034) were
 requested. (As far as I can tell, they have never been highly popular.)
 ------------------------------------------------------------------------------
---- HWM 311 ------------------------------------------------------------------
+
+(312) 10-Dec-04 ? Shadow remote transports
+
+Unless a lot of work is done, this would be restricted to another remote
+transport. A similar effect could therefore be achieved with "shadow_hosts"
+which are like fallback_hosts but which operate on success.
+------------------------------------------------------------------------------
+
+(313) 21-Jan-05 ? Multiple queues
+
+Exim runs poorly if its queue gets too big. Various ways round this are all
+to some extent kludges. There has been a suggestion of using multiple
+directories instead of just "input". (Originally it was for a whole set of
+spool directories, but that introduces complications with the hint files.)
+On message arrival, somehow a selection of "input" must be made. Then queue
+runners must be startable for the different "queues". Don't forget that the
+"msglog" directory is also involved. Perhaps add a new level of indirection:
+/var/spool/exim/queue1/{input,msglog}, /var/spool/exim/queue2/....
+------------------------------------------------------------------------------
+
+(314) 15-Feb-05 M Multiple headers_{add,remove} for routers
+
+If headers_{add,remove} could be specified multiple times, it would be easier
+for those people that construct configs using .ifdef or .include, etc. See also
+333.
+------------------------------------------------------------------------------
+
+(315) 15-Feb-05 M String variables for use in filters.
+
+Currently, only numerical variables are supported.
+------------------------------------------------------------------------------
+
+(316) 21-Feb-05 M Put callout response into a variable
+
+When a callout fails, put the entire SMTP response into a variable. This is not
+trivial because we probably should retain it in the cache as well.
+------------------------------------------------------------------------------
+
+(317) 25-Feb-05 S Delete the pid file when the daemon exits
+
+At least try to catch some of the exit routes from the daemon and either delete
+or empty the pid file.
+------------------------------------------------------------------------------
+
+(318) 02-Mar-05 S Add current connection count to daemon's exiwhat output
+------------------------------------------------------------------------------
+
+(319) 03-Mar-05 ? Allow file rather than directory for scanning call
+
+"I can call arbitrary scanning software by specifying the full path. I can pass
+a directory to be scanned in the arguments. I'd like to be able to pass a
+specific file name instead of a directory. I think this would allow me to call
+Bogofilter at smtp time. Bogofilter requires a filename, not a directory. The
+file would contain the complete email. I suppose there may be other scanning
+solutions with a similar requirement."
+------------------------------------------------------------------------------
+
+(321) 07-Mar-05 S Run an ACL on a sync error
+
+... and possibly "accept" or "deny" it.
+------------------------------------------------------------------------------
+
+(322) 15-Mar-05 M Add a /defer_ok option to verify=reverse_host_lookup
+------------------------------------------------------------------------------
+
+(323) 15-Mar-05 M Make callouts use smtp_data from the smtp transport
+
+This is yet another problem caused by duplicating the SMTP code between the
+transport and the callout verification. See item 294 above. Merging the
+transport and the callout code could prevent this kind of thing from happening.
+------------------------------------------------------------------------------
+
+(324) 04-Apr-05 ? Make -bP show ACLs
+
+This is in the Bugzilla as #10.
+------------------------------------------------------------------------------
+
+(326) 03-May-05 ? Queue-only on memory shortage
+
+This is bugzilla #17. The idea is to have something like queue_only_load that
+triggers on a shortage of main memory.
+------------------------------------------------------------------------------
+
+(327) 06-May-05 ? Break delay if connection drops
+
+Currently, "delay=5m" (e.g.) waits for 5 minutes. If we can detect that the
+connection has died in the meantime, it would make sense to break the delay.
+However, it doesn't seem possible to detect a dropped connection without trying
+to read from it.
+------------------------------------------------------------------------------
+
+(328) 10-May-05 S After "unseen" routing, pass on header additions/deletions
+
+Currently, when an "unseen" router accepts an address, header additions and
+deletions stick with that address, and the "clone" address that continues to be
+routed starts off without any additions or removals. This request is for an
+option to select other actions: retain header actions with the clone only, or
+pass them on to both addresses. See also 333.
+------------------------------------------------------------------------------
+
+(329) 12-May-05 S Create message ID at MAIL FROM time
+
+Currently, the ID is created only when Exim is about to create the data (-D)
+file for an incoming message. In other words, after it knows it really is going
+to accept the message. Creating the ID earlier would mean that rejection
+messages in the log would be tagged with an ID, and this is seen as desirable
+by some people.
+------------------------------------------------------------------------------
+
+(330) 31-May-05 ? Default interface for -bh and default port for -oMi
+
+I do not think it worth putting effort in here for these reasons: If a host has
+multiple interfaces, there's no easy way to choose one to be the default for
+$interface_address when -bh is used. If the host does not have multiple
+interfaces, chances are the configuration won't be looking at
+$interface_address anyway. If you are setting -oMi, and care about the port, it
+isn't much effort to tack on a port number, though in this case, I suppose a
+default of 25 is "obvious".
+------------------------------------------------------------------------------
+
+(331) 31-May-05 M More than one retry time per host
+
+Consider this example: an attempt to start a TLS connection to a host gets a
+temporary error. This stops *all* connections, both for TLS and otherwise.
+Different retry times for different circumstances are needed to get round this.
+What are the circumstances? TLS/not-TLS is clearly one, but sometimes you don't
+know if you are going to try TLS until you have connected. So this makes sense
+only if require_tls is used. Perhaps the multiple retry times should just be
+per-transport, to avoid these difficulties. If we made all retry keys depend on
+the transport, this would happen automatically.
+------------------------------------------------------------------------------
+
+(332) 03-Jun-05 S A "receive time taken" log selector
+
+This suggestion is to at an RT= item to the <= line, giving the time it
+actually took to receive the message.
+------------------------------------------------------------------------------
+
+(333) 06-Jun-05 L Re-think and re-implement header handling
+
+There are a number of items related to headers above. Better facilities for
+handling headers at ACL time are needed. The whole way in which Exim handles
+headers should be re-planned and re-implemented in a more consistent manner.
+
+These are the main previous items:
+
+Exim 3 Wish List: 41, 85, 149, 187.
+Exim 4 Wish List: 55, 62, 63, 160, 212, 237, 270, 314, 328.
+------------------------------------------------------------------------------
+
+(334) 07-Jun-05 M Support for messages larger than 2G
+
+This is probably a longish-term thing at the moment. Quotas over 2G are now
+supported, but not individual messages; no doubt one day this will be wanted.
+------------------------------------------------------------------------------
+
+(336) 16-Jun-05 M Show recipient(s) after header check failure
+
+The mainlog line for "There is no valid sender in any header line" shows the
+sending host and the envelope sender, but does not show any recipients. There
+has been a request to show recipients. Presumably this should be on some new
+log selector, and it must have a cutoff maximum number of recipients. NOTE: the
+data in the reject log does show the envelope recipients as part of its
+additional data.
+------------------------------------------------------------------------------
+
+(337) 29-Jun-05 S Add "defer" to $recipient_verify_failure
+
+This is for when defer_ok was set when verifying recipients. Since this isn't
+for a failure, we probably also need "ok" for the non-fail case.
+------------------------------------------------------------------------------
+
+(338) 14-Jul-05 M Change to Bind 9 API
+
+Exim uses the original API for calling the DNS resolver. There is a newer API
+available, and noises are being made in some OS that compatibility with the old
+API is going to be dropped. Nevertheless, there are sure to be systems about
+for ages that require the use of the old API. Therefore, we will have to
+implement not only an interface to the new API, but a backwards compatibility
+feature. It would be nice if this was automatic.
+------------------------------------------------------------------------------
+
+(339) 28-Jul-05 S Log name of maildir file
+
+This wish is for an option to log the name of the file that is written in
+maildir format (e.g. time.pid.host).
+------------------------------------------------------------------------------
+
+(340) 30-Aug-05 M Match more than one item
+
+match_address, for instance, matches one address to a list. The wish is to be
+able to supply two lists; for each address in the first list, search the
+second. Maybe something like ${match_any{...}{...}} is needed.
+------------------------------------------------------------------------------
+
+(341) 15-Sep-05 S Add /return_path_retain to submission mode
+
+This would re-instate the behaviour prior to change 4.52/TF/02.
+------------------------------------------------------------------------------
+
+(342) 26-Sep-05 T Log and maybe defer odd values for condition pre-condition
+
+Odd values for "condition" in an ACL cause it to defer. In a router, they are
+treated as "true". At least they should be logged in a router, and perhaps they
+should also defer, for compatibility with ACLs.
+------------------------------------------------------------------------------
+
+(343) 03-Oct-05 M A query-style lookup for scanning flat files
+
+The natural syntax for this would be to use a regex, like this:
+${lookup regex{/some/file regex}{found-string}{not-found-string}}
+------------------------------------------------------------------------------
+
+(344) 10-Oct-05 M Make debug_print work in authenticators
+------------------------------------------------------------------------------
+
+(345) 14-Oct-05 M Standardize rejection messages
+
+"The parsing for rejection lines is a bit of a mess, and fairly
+unmaintainable. Do you think it would be possible to standardise
+rejection/refusal log messages? How about something like:
+
+(<ID>|16 Spaces) *< (Connection|MAIL|RCPT|HELO|EHLO|DATA) rejected (from
+<Address>)?: <Reason> (\(<Detail>\))?"
+------------------------------------------------------------------------------
+
+(346) 20-Oct-05 S Set $domain and $local_part in retry matching
+
+Currently, these variables are unset. Make it like rewrite matching.
+------------------------------------------------------------------------------
+
+(347) 15-Nov-05 M Arrange to expand data from wildlsearch
+
+This would allow keys that are regular expressions to set up numerical
+variables that are included in the data. This has to be done inside the lookup
+code, because of caching. Probably means we have to invent ewildlsearch and
+enwildlsearch.
+------------------------------------------------------------------------------
+
+(348) 17-Nov-05 S Option to allow AUTH when not advertised.
+
+It seems that there are clients that send AUTH when it hasn't been advertised,
+some even after HELO, not even EHLO. Sigh. Possibly this should be an ACL
+control, to enable it to be restricted to certain hosts.
+------------------------------------------------------------------------------
+--- HWM 348 ------------------------------------------------------------------
 ---------------------------- End of WishList ---------------------------------