Fix CVE-2016-1531
[exim.git] / src / src / exipick.src
1 #!PERL_COMMAND
2
3 # This variable should be set by the building process to Exim's spool directory.
4 my $spool = 'SPOOL_DIRECTORY';
5 # Need to set this dynamically during build, but it's not used right now anyway.
6 my $charset = 'ISO-8859-1';
7
8 # use 'exipick --help' to view documentation for this program.
9 # Documentation also viewable online at
10 #       http://www.exim.org/eximwiki/ToolExipickManPage
11
12 use strict;
13 use Getopt::Long;
14
15 my($p_name)   = $0 =~ m|/?([^/]+)$|;
16 my $p_version = "20100323.0";
17 my $p_usage   = "Usage: $p_name [--help|--version] (see --help for details)";
18 my $p_cp      = <<EOM;
19         Copyright (c) 2003-2010 John Jetmore <jj33\@pobox.com>
20
21     This program is free software; you can redistribute it and/or modify
22     it under the terms of the GNU General Public License as published by
23     the Free Software Foundation; either version 2 of the License, or
24     (at your option) any later version.
25
26     This program is distributed in the hope that it will be useful,
27     but WITHOUT ANY WARRANTY; without even the implied warranty of
28     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
29     GNU General Public License for more details.
30
31     You should have received a copy of the GNU General Public License
32     along with this program; if not, write to the Free Software
33     Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA.
34 EOM
35 ext_usage(); # before we do anything else, check for --help
36
37 $| = 1; # unbuffer STDOUT
38
39 Getopt::Long::Configure("bundling_override");
40 GetOptions(
41   'spool=s'     => \$G::spool,      # exim spool dir
42   'input-dir=s' => \$G::input_dir,  # name of the "input" dir
43   'finput'      => \$G::finput,     # same as "--input-dir Finput"
44   'bp'          => \$G::mailq_bp,   # List the queue (noop - default)
45   'bpa'         => \$G::mailq_bpa,  # ... with generated address as well
46   'bpc'         => \$G::mailq_bpc,  # ... but just show a count of messages
47   'bpr'         => \$G::mailq_bpr,  # ... do not sort
48   'bpra'        => \$G::mailq_bpra, # ... with generated addresses, unsorted
49   'bpru'        => \$G::mailq_bpru, # ... only undelivered addresses, unsorted
50   'bpu'         => \$G::mailq_bpu,  # ... only undelivered addresses
51   'and'         => \$G::and,        # 'and' the criteria (default)
52   'or'          => \$G::or,         # 'or' the criteria
53   'f=s'         => \$G::qgrep_f,    # from regexp
54   'r=s'         => \$G::qgrep_r,    # recipient regexp
55   's=s'         => \$G::qgrep_s,    # match against size field
56   'y=s'         => \$G::qgrep_y,    # message younger than (secs)
57   'o=s'         => \$G::qgrep_o,    # message older than (secs)
58   'z'           => \$G::qgrep_z,    # frozen only
59   'x'           => \$G::qgrep_x,    # non-frozen only
60   'c'           => \$G::qgrep_c,    # display match count
61   'l'           => \$G::qgrep_l,    # long format (default)
62   'i'           => \$G::qgrep_i,    # message ids only
63   'b'           => \$G::qgrep_b,    # brief format
64   'size'        => \$G::size_only,  # sum the size of the matching msgs
65   'not'         => \$G::negate,     # flip every test
66   'R|reverse'   => \$G::reverse,    # reverse output (-R is qgrep option)
67   'sort=s'      => \@G::sort,       # allow you to choose variables to sort by
68   'freeze=s'    => \$G::freeze,     # freeze data in this file
69   'thaw=s'      => \$G::thaw,       # thaw data from this file
70   'unsorted'    => \$G::unsorted,   # unsorted, regardless of output format
71   'random'      => \$G::random,     # (poorly) randomize evaluation order
72   'flatq'       => \$G::flatq,      # brief format
73   'caseful'     => \$G::caseful,    # in '=' criteria, respect case
74   'caseless'    => \$G::caseless,   #   ...ignore case (default)
75   'charset=s'   => \$charset,       # charset for $bh and $h variables
76   'show-vars=s' => \$G::show_vars,  # display the contents of these vars
77   'just-vars'   => \$G::just_vars,  # only display vars, no other info
78   'show-rules'  => \$G::show_rules, # display compiled match rules
79   'show-tests'  => \$G::show_tests  # display tests as applied to each message
80 ) || exit(1);
81
82 # if both freeze and thaw specified, only thaw as it is less desctructive
83 $G::freeze = undef               if ($G::freeze && $G::thaw);
84 freeze_start()                   if ($G::freeze);
85 thaw_start()                     if ($G::thaw);
86
87 # massage sort options (make '$var,Var:' be 'var','var')
88 for (my $i = scalar(@G::sort)-1; $i >= 0; $i--) {
89   $G::sort[$i] = lc($G::sort[$i]);
90   $G::sort[$i] =~ s/[\$:\s]//g;
91   if ((my @vars = split(/,/, $G::sort[$i])) > 1) {
92     $G::sort[$i] = $vars[0]; shift(@vars); # replace current slot w/ first var
93     splice(@G::sort, $i+1, 0, @vars);      # add other vars after current pos
94   }
95 }
96 push(@G::sort, "message_exim_id") if (@G::sort);
97 die "empty value provided to --sort not allowed, exiting\n"
98     if (grep /^\s*$/, @G::sort);
99
100 # massage the qgrep options into standard criteria
101 push(@ARGV, "\$sender_address     =~ /$G::qgrep_f/") if ($G::qgrep_f);
102 push(@ARGV, "\$recipients         =~ /$G::qgrep_r/") if ($G::qgrep_r);
103 push(@ARGV, "\$shown_message_size eq $G::qgrep_s")   if ($G::qgrep_s);
104 push(@ARGV, "\$message_age        <  $G::qgrep_y")   if ($G::qgrep_y);
105 push(@ARGV, "\$message_age        >  $G::qgrep_o")   if ($G::qgrep_o);
106 push(@ARGV, "\$deliver_freeze")                      if ($G::qgrep_z);
107 push(@ARGV, "!\$deliver_freeze")                     if ($G::qgrep_x);
108
109 $G::mailq_bp        = $G::mailq_bp;        # shut up -w
110 $G::and             = $G::and;             # shut up -w
111 $G::msg_ids         = {};                  # short circuit when crit is only MID
112 $G::caseless        = $G::caseful ? 0 : 1; # nocase by default, case if both
113 @G::recipients_crit = ();                  # holds per-recip criteria
114 $spool              = $G::spool if ($G::spool);
115 my $input_dir       = $G::input_dir || ($G::finput ? "Finput" : "input");
116 my $count_only      = 1 if ($G::mailq_bpc  || $G::qgrep_c);
117 my $unsorted        = 1 if ($G::mailq_bpr  || $G::mailq_bpra ||
118                             $G::mailq_bpru || $G::unsorted);
119 my $msg             = $G::thaw ? thaw_message_list()
120                                : get_all_msgs($spool, $input_dir, $unsorted,
121                                               $G::reverse, $G::random);
122 die "Problem accessing thaw file\n" if ($G::thaw && !$msg);
123 my $crit            = process_criteria(\@ARGV);
124 my $e               = Exim::SpoolFile->new();
125 my $tcount          = 0 if ($count_only);  # holds count of all messages
126 my $mcount          = 0 if ($count_only);  # holds count of matching messages
127 my $total_size      = 0 if ($G::size_only);
128 $e->set_undelivered_only(1)      if ($G::mailq_bpru || $G::mailq_bpu);
129 $e->set_show_generated(1)        if ($G::mailq_bpra || $G::mailq_bpa);
130 $e->output_long()                if ($G::qgrep_l);
131 $e->output_idonly()              if ($G::qgrep_i);
132 $e->output_brief()               if ($G::qgrep_b);
133 $e->output_flatq()               if ($G::flatq);
134 $e->output_vars_only()           if ($G::just_vars && $G::show_vars);
135 $e->set_show_vars($G::show_vars) if ($G::show_vars);
136 $e->set_spool($spool, $input_dir);
137
138 MSG:
139 foreach my $m (@$msg) {
140   next if (scalar(keys(%$G::msg_ids)) && !$G::or
141                                       && !$G::msg_ids->{$m->{message}});
142   if ($G::thaw) {
143     my $data = thaw_data();
144     if (!$e->restore_state($data)) {
145       warn "Couldn't thaw $data->{_message}: ".$e->error()."\n";
146       next MSG;
147     }
148   } else {
149     if (!$e->parse_message($m->{message}, $m->{path})) {
150       warn "Couldn't parse $m->{message}: ".$e->error()."\n";
151       next MSG;
152     }
153   }
154   $tcount++;
155   my $match = 0;
156   my @local_crit = ();
157   foreach my $c (@G::recipients_crit) {              # handle each_recip* vars
158     foreach my $addr (split(/, /, $e->get_var($c->{var}))) {
159       my %t = ( 'cmp' => $c->{cmp}, 'var' => $c->{var} );
160       $t{cmp} =~ s/"?\$var"?/'$addr'/;
161       push(@local_crit, \%t);
162     }
163   }
164   if ($G::show_tests) { print $e->get_var('message_exim_id'), "\n"; }
165   CRITERIA:
166   foreach my $c (@$crit, @local_crit) {
167     my $var = $e->get_var($c->{var});
168     my $ret = eval($c->{cmp});
169     if ($G::show_tests) {
170       printf "  %25s =  '%s'\n  %25s => $ret\n",$c->{var},$var,$c->{cmp},$ret;
171     }
172     if ($@) {
173       print STDERR "Error in eval '$c->{cmp}': $@\n";
174       next MSG;
175     } elsif ($ret) {
176       $match = 1;
177       if ($G::or) { last CRITERIA; }
178       else        { next CRITERIA; }
179     } else { # no match
180       if ($G::or) { next CRITERIA; }
181       else        { next MSG;      }
182     }
183   }
184
185   # skip this message if any criteria were supplied and it didn't match
186   next MSG if ((scalar(@$crit) || scalar(@local_crit)) && !$match);
187
188   if ($count_only || $G::size_only) {
189     $mcount++;
190     $total_size += $e->get_var('message_size');
191   } else {
192     if (@G::sort) {
193       # if we are defining criteria to sort on, save the message here.  If
194       # we don't save here and do the sort later, we have a chicken/egg
195       # problem
196       push(@G::to_print, { vars => {}, output => "" });
197       foreach my $var (@G::sort) {
198         # save any values we want to sort on.  I don't like doing the internal
199         # struct access here, but calling get_var a bunch can be _slow_ =(
200         $G::sort_type{$var} ||= '<=>';
201         $G::to_print[-1]{vars}{$var} = $e->{_vars}{$var};
202         $G::sort_type{$var} = 'cmp' if ($G::to_print[-1]{vars}{$var} =~ /\D/);
203       }
204       $G::to_print[-1]{output} = $e->format_message();
205     } else {
206       print $e->format_message();
207     }
208   }
209
210   if ($G::freeze) {
211     freeze_data($e->get_state());
212     push(@G::frozen_msgs, $m);
213   }
214 }
215
216 if (@G::to_print) {
217   msg_sort(\@G::to_print, \@G::sort, $G::reverse);
218   foreach my $msg (@G::to_print) {
219     print $msg->{output};
220   }
221 }
222
223 if ($G::qgrep_c) {
224   print "$mcount matches out of $tcount messages" .
225         ($G::size_only ? " ($total_size)" : "") . "\n";
226 } elsif ($G::mailq_bpc) {
227   print "$mcount" .  ($G::size_only ? " ($total_size)" : "") . "\n";
228 } elsif ($G::size_only) {
229   print "$total_size\n";
230 }
231
232 if ($G::freeze) {
233   freeze_message_list(\@G::frozen_msgs);
234   freeze_end();
235 } elsif ($G::thaw) {
236   thaw_end();
237 }
238
239 exit;
240
241 # sender_address_domain,shown_message_size
242 sub msg_sort {
243   my $msgs    = shift;
244   my $vars    = shift;
245   my $reverse = shift;
246
247   my @pieces = ();
248   foreach my $v (@G::sort) {
249     push(@pieces, "\$a->{vars}{\"$v\"} $G::sort_type{$v} \$b->{vars}{\"$v\"}");
250   }
251   my $sort_str = join(" || ", @pieces);
252
253   @$msgs = sort { eval $sort_str } (@$msgs);
254   @$msgs = reverse(@$msgs) if ($reverse);
255 }
256
257 sub try_load {
258   my $mod = shift;
259
260   eval("use $mod");
261   return $@ ? 0 : 1;
262 }
263
264 # FREEZE FILE FORMAT:
265 # message_data_bytes
266 # message_data
267 # <...>
268 # EOM
269 # message_list
270 # message_list_bytes <- 10 bytes, zero-packed, plus \n
271
272 sub freeze_start {
273   eval("use Storable");
274   die "Storable module not found: $@\n" if ($@);
275   open(O, ">$G::freeze") || die "Can't open freeze file $G::freeze: $!\n";
276   $G::freeze_handle = \*O;
277 }
278
279 sub freeze_end {
280   close($G::freeze_handle);
281 }
282
283 sub thaw_start {
284   eval("use Storable");
285   die "Storable module not found: $@\n" if ($@);
286   open(I, "<$G::thaw") || die "Can't open freeze file $G::thaw: $!\n";
287   $G::freeze_handle = \*I;
288 }
289
290 sub thaw_end {
291   close($G::freeze_handle);
292 }
293
294 sub freeze_data {
295   my $h = Storable::freeze($_[0]);
296   print $G::freeze_handle length($h)+1, "\n$h\n";
297 }
298
299 sub freeze_message_list {
300   my $h = Storable::freeze($_[0]);
301   my $l = length($h) + 1;
302   printf $G::freeze_handle "EOM\n$l\n$h\n%010d\n", $l+11+length($l)+1;
303 }
304
305 sub thaw_message_list {
306   my $orig_pos = tell($G::freeze_handle);
307   seek($G::freeze_handle, -11, 2);
308   chomp(my $bytes = <$G::freeze_handle>);
309   seek($G::freeze_handle, $bytes * -1, 2);
310   my $obj = thaw_data();
311   seek($G::freeze_handle, 0, $orig_pos);
312   return($obj);
313 }
314
315 sub thaw_data {
316   my $obj;
317   chomp(my $bytes = <$G::freeze_handle>);
318   return(undef) if (!$bytes || $bytes eq 'EOM');
319   my $read = read(I, $obj, $bytes);
320   die "Format error in thaw file (expected $bytes bytes, got $read)\n"
321       if ($bytes != $read);
322   chomp($obj);
323   return(Storable::thaw($obj));
324 }
325
326 sub process_criteria {
327   my $a = shift;
328   my @c = ();
329   my $e = 0;
330
331   foreach (@$a) {
332     foreach my $t ('@') { s/$t/\\$t/g; }
333     if (/^(.*?)\s+(<=|>=|==|!=|<|>)\s+(.*)$/) {
334       #print STDERR "found as integer\n";
335       my $v = $1; my $o = $2; my $n = $3;
336       if    ($n =~ /^(-?[\d\.]+)M$/)  { $n = $1 * 1024 * 1024; }
337       elsif ($n =~ /^(-?[\d\.]+)K$/)  { $n = $1 * 1024; }
338       elsif ($n =~ /^(-?[\d\.]+)B?$/) { $n = $1; }
339       elsif ($n =~ /^(-?[\d\.]+)d$/)  { $n = $1 * 60 * 60 * 24; }
340       elsif ($n =~ /^(-?[\d\.]+)h$/)  { $n = $1 * 60 * 60; }
341       elsif ($n =~ /^(-?[\d\.]+)m$/)  { $n = $1 * 60; }
342       elsif ($n =~ /^(-?[\d\.]+)s?$/) { $n = $1; }
343       else {
344         print STDERR "Expression $_ did not parse: numeric comparison with ",
345                      "non-number\n";
346         $e = 1;
347         next;
348       }
349       push(@c, { var => lc($v), cmp => "(\$var $o $n)" });
350     } elsif (/^(.*?)\s+(=~|!~)\s+(.*)$/) {
351       #print STDERR "found as string regexp\n";
352       push(@c, { var => lc($1), cmp => "(\"\$var\" $2 $3)" });
353     } elsif (/^(.*?)\s+=\s+(.*)$/) {
354       #print STDERR "found as bare string regexp\n";
355       my $case = $G::caseful ? '' : 'i';
356       push(@c, { var => lc($1), cmp => "(\"\$var\" =~ /$2/$case)" });
357       # quote special characters in perl text string
358       #foreach my $t ('@') { $c[-1]{cmp} =~ s/$t/\\$t/g; }
359     } elsif (/^(.*?)\s+(eq|ne)\s+(.*)$/) {
360       #print STDERR "found as string cmp\n";
361       my $var = lc($1); my $op = $2; my $val = $3;
362       $val =~ s|^(['"])(.*)\1$|$2|;
363       push(@c, { var => $var, cmp => "(\"\$var\" $op \"$val\")" });
364       if (($var eq 'message_id' || $var eq 'message_exim_id') && $op eq "eq") {
365         #print STDERR "short circuit @c[-1]->{cmp} $val\n";
366         $G::msg_ids->{$val} = 1;
367       }
368       #foreach my $t ('@') { $c[-1]{cmp} =~ s/$t/\\$t/g; }
369     } elsif (/^(\S+)$/) {
370       #print STDERR "found as boolean\n";
371       push(@c, { var => lc($1), cmp => "(\$var)" });
372     } else {
373       print STDERR "Expression $_ did not parse\n";
374       $e = 1;
375       next;
376     }
377     # assign the results of the cmp test here (handle "!" negation)
378     # also handle global --not negation
379     if ($c[-1]{var} =~ s|^!||) {
380       $c[-1]{cmp} .= $G::negate ? " ? 1 : 0" : " ? 0 : 1";
381     } else {
382       $c[-1]{cmp} .= $G::negate ? " ? 0 : 1" : " ? 1 : 0";
383     }
384     # support the each_* psuedo variables.  Steal the criteria off of the
385     # queue for special processing later
386     if ($c[-1]{var} =~ /^each_(recipients(_(un)?del)?)$/) {
387       my $var = $1;
388       push(@G::recipients_crit,pop(@c));
389       $G::recipients_crit[-1]{var} = $var; # remove each_ from the variable
390     }
391   }
392
393   exit(1) if ($e);
394
395   if ($G::show_rules) { foreach (@c) { print "$_->{var}\t$_->{cmp}\n"; } }
396
397   return(\@c);
398 }
399
400 sub get_all_msgs {
401   my $d = shift();
402   my $i = shift();
403   my $u = shift; # don't sort
404   my $r = shift; # right before returning, reverse order
405   my $o = shift; # if true, randomize list order before returning
406   my @m = ();
407
408   if ($i =~ m|^/|) { $d = $i; } else { $d = $d . '/' . $i; }
409
410   opendir(D, "$d") || die "Couldn't opendir $d: $!\n";
411   foreach my $e (grep !/^\./, readdir(D)) {
412     if ($e =~ /^[a-zA-Z0-9]$/) {
413       opendir(DD, "$d/$e") || next;
414       foreach my $f (grep !/^\./, readdir(DD)) {
415         push(@m, { message => $1, path => "$d/$e" }) if ($f =~ /^(.{16})-H$/);
416       }
417       closedir(DD);
418     } elsif ($e =~ /^(.{16})-H$/) {
419       push(@m, { message => $1, path => $d });
420     }
421   }
422   closedir(D);
423
424   if ($o) {
425     my $c = scalar(@m);
426     # loop twice to pretend we're doing a good job of mixing things up
427     for (my $i = 0; $i < 2 * $c; $i++) {
428       my $rand = int(rand($c));
429       ($m[$i % $c],$m[$rand]) = ($m[$rand],$m[$i % $c]);
430     }
431   } elsif (!$u) {
432     @m = sort { $a->{message} cmp $b->{message} } @m;
433   }
434   @m = reverse(@m) if ($r);
435
436   return(\@m);
437 }
438
439 BEGIN {
440
441 package Exim::SpoolFile;
442
443 # versions 4.61 and higher will not need these variables anymore, but they
444 # are left for handling legacy installs
445 $Exim::SpoolFile::ACL_C_MAX_LEGACY = 10;
446 #$Exim::SpoolFile::ACL_M_MAX _LEGACY= 10;
447
448 sub new {
449   my $class = shift;
450   my $self  = {};
451   bless($self, $class);
452
453   $self->{_spool_dir}        = '';
454   $self->{_input_path}       = '';
455   $self->{_undelivered_only} = 0;
456   $self->{_show_generated}   = 0;
457   $self->{_output_long}      = 1;
458   $self->{_output_idonly}    = 0;
459   $self->{_output_brief}     = 0;
460   $self->{_output_flatq}     = 0;
461   $self->{_output_vars_only} = 0;
462   $self->{_show_vars}        = [];
463
464   $self->_reset();
465   return($self);
466 }
467
468 sub output_long {
469   my $self = shift;
470
471   $self->{_output_long}      = 1;
472   $self->{_output_idonly}    = 0;
473   $self->{_output_brief}     = 0;
474   $self->{_output_flatq}     = 0;
475   $self->{_output_vars_only} = 0;
476 }
477
478 sub output_idonly {
479   my $self = shift;
480
481   $self->{_output_long}      = 0;
482   $self->{_output_idonly}    = 1;
483   $self->{_output_brief}     = 0;
484   $self->{_output_flatq}     = 0;
485   $self->{_output_vars_only} = 0;
486 }
487
488 sub output_brief {
489   my $self = shift;
490
491   $self->{_output_long}      = 0;
492   $self->{_output_idonly}    = 0;
493   $self->{_output_brief}     = 1;
494   $self->{_output_flatq}     = 0;
495   $self->{_output_vars_only} = 0;
496 }
497
498 sub output_flatq {
499   my $self = shift;
500
501   $self->{_output_long}      = 0;
502   $self->{_output_idonly}    = 0;
503   $self->{_output_brief}     = 0;
504   $self->{_output_flatq}     = 1;
505   $self->{_output_vars_only} = 0;
506 }
507
508 sub output_vars_only {
509   my $self = shift;
510
511   $self->{_output_long}      = 0;
512   $self->{_output_idonly}    = 0;
513   $self->{_output_brief}     = 0;
514   $self->{_output_flatq}     = 0;
515   $self->{_output_vars_only} = 1;
516 }
517
518 sub set_show_vars {
519   my $self = shift;
520   my $s    = shift;
521
522   foreach my $v (split(/\s*,\s*/, $s)) {
523     push(@{$self->{_show_vars}}, $v);
524   }
525 }
526
527 sub set_show_generated {
528   my $self = shift;
529   $self->{_show_generated} = shift;
530 }
531
532 sub set_undelivered_only {
533   my $self = shift;
534   $self->{_undelivered_only} = shift;
535 }
536
537 sub error {
538   my $self = shift;
539   return $self->{_error};
540 }
541
542 sub _error {
543   my $self = shift;
544   $self->{_error} = shift;
545   return(undef);
546 }
547
548 sub _reset {
549   my $self = shift;
550
551   $self->{_error}       = '';
552   $self->{_delivered}   = 0;
553   $self->{_message}     = '';
554   $self->{_path}        = '';
555   $self->{_vars}        = {};
556   $self->{_vars_raw}    = {};
557
558   $self->{_numrecips}   = 0;
559   $self->{_udel_tree}   = {};
560   $self->{_del_tree}    = {};
561   $self->{_recips}      = {};
562
563   return($self);
564 }
565
566 sub parse_message {
567   my $self = shift;
568
569   $self->_reset();
570   $self->{_message} = shift || return(0);
571   $self->{_path}    = shift; # optional path to message
572   return(0) if (!$self->{_input_path});
573   if (!$self->{_path} && !$self->_find_path()) {
574     # assume the message was delivered from under us and ignore
575     $self->{_delivered} = 1;
576     return(1);
577   }
578   $self->_parse_header() || return(0);
579
580   return(1);
581 }
582
583 # take the output of get_state() and set up a message internally like
584 # parse_message (except from a saved data struct, not by parsing the
585 # files on disk).
586 sub restore_state {
587   my $self = shift;
588   my $h    = shift;
589
590   return(1) if ($h->{_delivered});
591   $self->_reset();
592   $self->{_message} = $h->{_message} || return(0);
593   return(0) if (!$self->{_input_path});
594
595   $self->{_path}      = $h->{_path};
596   $self->{_vars}      = $h->{_vars};
597   $self->{_numrecips} = $h->{_numrecips};
598   $self->{_udel_tree} = $h->{_udel_tree};
599   $self->{_del_tree}  = $h->{_del_tree};
600   $self->{_recips}    = $h->{_recips};
601
602   $self->{_vars}{message_age} = time() - $self->{_vars}{received_time};
603   return(1);
604 }
605
606 # This returns the state data for a specific message in a format that can
607 # be later frozen back in to regain state
608 #
609 # after calling this function, this specific state is not expect to be
610 # reused.  That's because we're returning direct references to specific
611 # internal structures.  We're also modifying the structure ourselves
612 # by deleting certain internal message variables.
613 sub get_state {
614   my $self = shift;
615   my $h    = {};    # this is the hash ref we'll be returning.
616
617   $h->{_delivered} = $self->{_delivered};
618   $h->{_message}   = $self->{_message};
619   $h->{_path}      = $self->{_path};
620   $h->{_vars}      = $self->{_vars};
621   $h->{_numrecips} = $self->{_numrecips};
622   $h->{_udel_tree} = $self->{_udel_tree};
623   $h->{_del_tree}  = $self->{_del_tree};
624   $h->{_recips}    = $self->{_recips};
625
626   # delete some internal variables that we will rebuild later if needed
627   delete($h->{_vars}{message_body});
628   delete($h->{_vars}{message_age});
629
630   return($h);
631 }
632
633 # keep this sub as a feature if we ever break this module out, but do away
634 # with its use in exipick (pass it in from caller instead)
635 sub _find_path {
636   my $self = shift;
637
638   return(0) if (!$self->{_message});
639   return(0) if (!$self->{_input_path});
640
641   # test split spool first on the theory that people concerned about
642   # performance will have split spool set =).
643   foreach my $f (substr($self->{_message}, 5, 1).'/', '') {
644     if (-f "$self->{_input_path}/$f$self->{_message}-H") {
645       $self->{_path} = "$self->{_input_path}}/$f";
646       return(1);
647     }
648   }
649   return(0);
650 }
651
652 sub set_spool {
653   my $self = shift;
654   $self->{_spool_dir} = shift;
655   $self->{_input_path} = shift;
656   if ($self->{_input_path} !~ m|^/|) {
657     $self->{_input_path} = $self->{_spool_dir} . '/' . $self->{_input_path};
658   }
659 }
660
661 sub get_matching_vars {
662   my $self = shift;
663   my $e    = shift;
664
665   if ($e =~ /^\^/) {
666     my @r = ();
667     foreach my $v (keys %{$self->{_vars}}) { push(@r, $v) if ($v =~ /$e/); }
668     return(@r);
669   } else {
670     return($e);
671   }
672 }
673
674 # accepts a variable with or without leading '$' or trailing ':'
675 sub get_var {
676   my $self = shift;
677   my $var  = lc(shift); $var =~ s/^\$//; $var =~ s/:$//;
678
679   if ($var eq 'message_body' && !defined($self->{_vars}{message_body})) {
680     $self->_parse_body()
681   } elsif ($var =~ s|^([rb]?h)(eader)?_|${1}eader_| &&
682            exists($self->{_vars}{$var}) && !defined($self->{_vars}{$var}))
683   {
684     if ((my $type = $1) eq 'rh') {
685       $self->{_vars}{$var} = join('', @{$self->{_vars_raw}{$var}{vals}});
686     } else {
687       # both bh_ and h_ build their strings from rh_.  Do common work here
688       my $rh = $var; $rh =~ s|^b?|r|;
689       my $comma = 1 if ($self->{_vars_raw}{$rh}{type} =~ /^[BCFRST]$/);
690       foreach (@{$self->{_vars_raw}{$rh}{vals}}) {
691         my $x = $_; # editing $_ here would change the original, which is bad
692         $x =~ s|^\s+||;
693         $x =~ s|\s+$||;
694         if ($comma) { chomp($x); $self->{_vars}{$var} .= "$x,\n"; }
695         else        { $self->{_vars}{$var} .= $x; }
696       }
697       $self->{_vars}{$var} =~ s|[\s\n]*$||;
698       $self->{_vars}{$var} =~ s|,$|| if ($comma);
699       # ok, that's the preprocessing, not do specific processing for h type
700       if ($type eq 'bh') {
701         $self->{_vars}{$var} = $self->_decode_2047($self->{_vars}{$var});
702       } else {
703         $self->{_vars}{$var} =
704             $self->_decode_2047($self->{_vars}{$var}, $charset);
705       }
706     }
707   }
708   elsif ($var eq 'received_count' && !defined($self->{_vars}{received_count}))
709   {
710     $self->{_vars}{received_count} =
711         scalar(@{$self->{_vars_raw}{rheader_received}{vals}});
712   }
713   elsif ($var eq 'message_headers' && !defined($self->{_vars}{message_headers}))
714   {
715     $self->{_vars}{$var} =
716         $self->_decode_2047($self->{_vars}{message_headers_raw}, $charset);
717     chomp($self->{_vars}{$var});
718   }
719   elsif ($var eq 'reply_address' && !defined($self->{_vars}{reply_address}))
720   {
721     $self->{_vars}{reply_address} = exists($self->{_vars}{"header_reply-to"})
722         ? $self->get_var("header_reply-to") : $self->get_var("header_from");
723   }
724
725   #chomp($self->{_vars}{$var}); # I think this was only for headers, obsolete
726   return $self->{_vars}{$var};
727 }
728
729 sub _decode_2047 {
730   my $self = shift;
731   my $s    = shift; # string to decode
732   my $c    = shift; # target charset.  If empty, just decode, don't convert
733   my $t    = '';    # the translated string
734   my $e    = 0;     # set to true if we get an error in here anywhere
735
736   return($s) if ($s !~ /=\?/); # don't even bother to look if there's no sign
737
738   my @p = ();
739   foreach my $mw (split(/(=\?[^\?]{3,}\?[BQ]\?[^\?]{1,74}\?=)/i, $s)) {
740     next if ($mw eq '');
741     if ($mw =~ /=\?([^\?]{3,})\?([BQ])\?([^\?]{1,74})\?=/i) {
742       push(@p, { data => $3, encoding => uc($2), charset => uc($1),
743                  is_mime => 1 });
744       if ($p[-1]{encoding} eq 'Q') {
745         my @ow = split('', $p[-1]{data});
746         my @nw = ();
747         for (my $i = 0; $i < @ow; $i++) {
748           if ($ow[$i] eq '_') { push(@nw, ' '); }
749           elsif ($ow[$i] eq '=') {
750             if (scalar(@ow) - ($i+1) < 2) {  # ran out of characters
751               $e = 1; last;
752             } elsif ($ow[$i+1] !~ /[\dA-F]/i || $ow[$i+2] !~ /[\dA-F]/i) {
753               $e = 1; last;
754             } else {
755               #push(@nw, chr('0x'.$ow[$i+1].$ow[$i+2]));
756               push(@nw, pack("C", hex($ow[$i+1].$ow[$i+2])));
757               $i += 2;
758             }
759           }
760           elsif ($ow[$i] =~ /\s/) { # whitspace is illegal
761             $e = 1;
762             last;
763           }
764           else { push(@nw, $ow[$i]); }
765         }
766         $p[-1]{data} = join('', @nw);
767       } elsif ($p[-1]{encoding} eq 'B') {
768         my $x = $p[-1]{data};
769         $x    =~ tr#A-Za-z0-9+/##cd;
770         $x    =~ s|=+$||;
771         $x    =~ tr#A-Za-z0-9+/# -_#;
772         my $r = '';
773         while ($x =~ s/(.{1,60})//s) {
774           $r .= unpack("u", chr(32 + int(length($1)*3/4)) . $1);
775         }
776         $p[-1]{data} = $r;
777       }
778     } else {
779       push(@p, { data => $mw, is_mime => 0,
780                  is_ws => ($mw =~ m|^[\s\n]+|sm) ? 1 : 0 });
781     }
782   }
783
784   for (my $i = 0; $i < @p; $i++) {
785     # mark entities we want to skip (whitespace between consecutive mimewords)
786     if ($p[$i]{is_mime} && $p[$i+1]{is_ws} && $p[$i+2]{is_mime}) {
787       $p[$i+1]{skip} = 1;
788     }
789
790     # if word is a mimeword and we have access to Encode and charset was
791     # specified, try to convert text
792     # XXX _cannot_ get consistent conversion results in perl, can't get them
793     # to return same conversions that exim performs.  Until I can figure this
794     # out, don't attempt any conversions (header_ will return same value as
795     # bheader_).
796     #if ($c && $p[$i]{is_mime} && $self->_try_load('Encode')) {
797     #  # XXX not sure how to catch errors here
798     #  Encode::from_to($p[$i]{data}, $p[$i]{charset}, $c);
799     #}
800
801     # replace binary zeros w/ '?' in decoded text
802     if ($p[$i]{is_mime}) { $p[$i]{data} =~ s|\x00|?|g; }
803   }
804
805   if ($e) {
806     return($s);
807   } else {
808     return(join('', map { $_->{data} } grep { !$_->{skip} } @p));
809   }
810 }
811
812 # This isn't a class func but I'm tired
813 sub _try_load {
814   my $self = shift;
815   my $mod  = shift;
816
817   eval("use $mod");
818   return $@ ? 0 : 1;
819 }
820
821 sub _parse_body {
822   my $self = shift;
823   my $f    = $self->{_path} . '/' . $self->{_message} . '-D';
824   $self->{_vars}{message_body} = ""; # define var so we only come here once
825
826   open(I, "<$f") || return($self->_error("Couldn't open $f: $!"));
827   chomp($_ = <I>);
828   return(0) if ($self->{_message}.'-D' ne $_);
829
830   $self->{_vars}{message_body} = join('', <I>);
831   close(I);
832   $self->{_vars}{message_body} =~ s/\n/ /g;
833   $self->{_vars}{message_body} =~ s/\000/ /g;
834   return(1);
835 }
836
837 sub _parse_header {
838   my $self = shift;
839   my $f    = $self->{_path} . '/' . $self->{_message} . '-H';
840   $self->{_vars}{header_path} = $f;
841   $self->{_vars}{data_path}   = $self->{_path} . '/' . $self->{_message} . '-D';
842
843   if (!open(I, "<$f")) {
844     # assume message went away and silently ignore
845     $self->{_delivered} = 1;
846     return(1);
847   }
848
849   # There are a few numeric variables that should explicitly be set to
850   # zero if they aren't found in the header.  Technically an empty value
851   # works just as well, but might as well be pedantic
852   $self->{_vars}{body_zerocount}           = 0;
853   $self->{_vars}{host_lookup_deferred}     = 0;
854   $self->{_vars}{host_lookup_failed}       = 0;
855   $self->{_vars}{tls_certificate_verified} = 0;
856
857   chomp($_ = <I>);
858   return(0) if ($self->{_message}.'-H' ne $_);
859   $self->{_vars}{message_id}       = $self->{_message};
860   $self->{_vars}{message_exim_id}  = $self->{_message};
861
862   # line 2
863   chomp($_ = <I>);
864   return(0) if (!/^(.+)\s(\-?\d+)\s(\-?\d+)$/);
865   $self->{_vars}{originator_login} = $1;
866   $self->{_vars}{originator_uid}   = $2;
867   $self->{_vars}{originator_gid}   = $3;
868
869   # line 3
870   chomp($_ = <I>);
871   return(0) if (!/^<(.*)>$/);
872   $self->{_vars}{sender_address}   = $1;
873   $self->{_vars}{sender_address_domain} = $1;
874   $self->{_vars}{sender_address_local_part} = $1;
875   $self->{_vars}{sender_address_domain} =~ s/^.*\@//;
876   $self->{_vars}{sender_address_local_part} =~ s/^(.*)\@.*$/$1/;
877
878   # line 4
879   chomp($_ = <I>);
880   return(0) if (!/^(\d+)\s(\d+)$/);
881   $self->{_vars}{received_time}    = $1;
882   $self->{_vars}{warning_count}    = $2;
883   $self->{_vars}{message_age}      = time() - $self->{_vars}{received_time};
884
885   while (<I>) {
886     chomp();
887     if (/^(-\S+)\s*(.*$)/) {
888       my $tag = $1;
889       my $arg = $2;
890       if ($tag eq '-acl') {
891         my $t;
892         return(0) if ($arg !~ /^(\d+)\s(\d+)$/);
893         if ($1 < $Exim::SpoolFile::ACL_C_MAX_LEGACY) {
894           $t = "acl_c$1";
895         } else {
896           $t = "acl_m" . ($1 - $Exim::SpoolFile::ACL_C_MAX_LEGACY);
897         }
898         read(I, $self->{_vars}{$t}, $2+1) || return(0);
899         chomp($self->{_vars}{$t});
900       } elsif ($tag eq '-aclc') {
901         #return(0) if ($arg !~ /^(\d+)\s(\d+)$/);
902         return(0) if ($arg !~ /^(\S+)\s(\d+)$/);
903         my $t = "acl_c$1";
904         read(I, $self->{_vars}{$t}, $2+1) || return(0);
905         chomp($self->{_vars}{$t});
906       } elsif ($tag eq '-aclm') {
907         #return(0) if ($arg !~ /^(\d+)\s(\d+)$/);
908         return(0) if ($arg !~ /^(\S+)\s(\d+)$/);
909         my $t = "acl_m$1";
910         read(I, $self->{_vars}{$t}, $2+1) || return(0);
911         chomp($self->{_vars}{$t});
912       } elsif ($tag eq '-local') {
913         $self->{_vars}{sender_local} = 1;
914       } elsif ($tag eq '-localerror') {
915         $self->{_vars}{local_error_message} = 1;
916       } elsif ($tag eq '-local_scan') {
917         $self->{_vars}{local_scan_data} = $arg;
918       } elsif ($tag eq '-spam_score_int') {
919         $self->{_vars}{spam_score_int} = $arg;
920         $self->{_vars}{spam_score}     = $arg / 10;
921       } elsif ($tag eq '-bmi_verdicts') {
922         $self->{_vars}{bmi_verdicts} = $arg;
923       } elsif ($tag eq '-host_lookup_deferred') {
924         $self->{_vars}{host_lookup_deferred} = 1;
925       } elsif ($tag eq '-host_lookup_failed') {
926         $self->{_vars}{host_lookup_failed} = 1;
927       } elsif ($tag eq '-body_linecount') {
928         $self->{_vars}{body_linecount} = $arg;
929       } elsif ($tag eq '-max_received_linelength') {
930         $self->{_vars}{max_received_linelength} = $arg;
931       } elsif ($tag eq '-body_zerocount') {
932         $self->{_vars}{body_zerocount} = $arg;
933       } elsif ($tag eq '-frozen') {
934         $self->{_vars}{deliver_freeze} = 1;
935         $self->{_vars}{deliver_frozen_at} = $arg;
936       } elsif ($tag eq '-allow_unqualified_recipient') {
937         $self->{_vars}{allow_unqualified_recipient} = 1;
938       } elsif ($tag eq '-allow_unqualified_sender') {
939         $self->{_vars}{allow_unqualified_sender} = 1;
940       } elsif ($tag eq '-deliver_firsttime') {
941         $self->{_vars}{deliver_firsttime} = 1;
942         $self->{_vars}{first_delivery} = 1;
943       } elsif ($tag eq '-manual_thaw') {
944         $self->{_vars}{deliver_manual_thaw} = 1;
945         $self->{_vars}{manually_thawed} = 1;
946       } elsif ($tag eq '-auth_id') {
947         $self->{_vars}{authenticated_id} = $arg;
948       } elsif ($tag eq '-auth_sender') {
949         $self->{_vars}{authenticated_sender} = $arg;
950       } elsif ($tag eq '-sender_set_untrusted') {
951         $self->{_vars}{sender_set_untrusted} = 1;
952       } elsif ($tag eq '-tls_certificate_verified') {
953         $self->{_vars}{tls_certificate_verified} = 1;
954       } elsif ($tag eq '-tls_cipher') {
955         $self->{_vars}{tls_cipher} = $arg;
956       } elsif ($tag eq '-tls_peerdn') {
957         $self->{_vars}{tls_peerdn} = $arg;
958       } elsif ($tag eq '-tls_sni') {
959         $self->{_vars}{tls_sni} = $arg;
960       } elsif ($tag eq '-host_address') {
961         $self->{_vars}{sender_host_port} = $self->_get_host_and_port(\$arg);
962         $self->{_vars}{sender_host_address} = $arg;
963       } elsif ($tag eq '-interface_address') {
964         $self->{_vars}{received_port} =
965             $self->{_vars}{interface_port} = $self->_get_host_and_port(\$arg);
966         $self->{_vars}{received_ip_address} =
967             $self->{_vars}{interface_address} = $arg;
968       } elsif ($tag eq '-active_hostname') {
969         $self->{_vars}{smtp_active_hostname} = $arg;
970       } elsif ($tag eq '-host_auth') {
971         $self->{_vars}{sender_host_authenticated} = $arg;
972       } elsif ($tag eq '-host_name') {
973         $self->{_vars}{sender_host_name} = $arg;
974       } elsif ($tag eq '-helo_name') {
975         $self->{_vars}{sender_helo_name} = $arg;
976       } elsif ($tag eq '-ident') {
977         $self->{_vars}{sender_ident} = $arg;
978       } elsif ($tag eq '-received_protocol') {
979         $self->{_vars}{received_protocol} = $arg;
980       } elsif ($tag eq '-N') {
981         $self->{_vars}{dont_deliver} = 1;
982       } else {
983         # unrecognized tag, save it for reference
984         $self->{$tag} = $arg;
985       }
986     } else {
987       last;
988     }
989   }
990
991   # when we drop out of the while loop, we have the first line of the
992   # delivered tree in $_
993   do {
994     if ($_ eq 'XX') {
995       ; # noop
996     } elsif ($_ =~ s/^[YN][YN]\s+//) {
997       $self->{_del_tree}{$_} = 1;
998     } else {
999       return(0);
1000     }
1001     chomp($_ = <I>);
1002   } while ($_ !~ /^\d+$/);
1003
1004   $self->{_numrecips} = $_;
1005   $self->{_vars}{recipients_count} = $self->{_numrecips};
1006   for (my $i = 0; $i < $self->{_numrecips}; $i++) {
1007     chomp($_ = <I>);
1008     return(0) if (/^$/);
1009     my $addr = '';
1010     if (/^(.*)\s\d+,(\d+),\d+$/) {
1011       #print STDERR "exim3 type (untested): $_\n";
1012       $self->{_recips}{$1} = { pno => $2 };
1013       $addr = $1;
1014     } elsif (/^(.*)\s(\d+)$/) {
1015       #print STDERR "exim4 original type (untested): $_\n";
1016       $self->{_recips}{$1} = { pno => $2 };
1017       $addr = $1;
1018     } elsif (/^(.*)\s(.*)\s(\d+),(\d+)#1$/) {
1019       #print STDERR "exim4 new type #1 (untested): $_\n";
1020       return($self->_error("incorrect format: $_")) if (length($2) != $3);
1021       $self->{_recips}{$1} = { pno => $4, errors_to => $2 };
1022       $addr = $1;
1023     } elsif (/^(\S*)\s(\S*)\s(\d+),(\d+)\s(\S*)\s(\d+),(-?\d+)#3$/) {
1024       #print STDERR "exim4 new type #3 DSN (untested): $_\n";
1025       return($self->_error("incorrect format: $_"))
1026         if ((length($2) != $3) || (length($5) != $6));
1027       $self->{_recips}{$1} = { pno => $7, errors_to => $5 };
1028       $addr = $1;
1029     } elsif (/^.*#(\d+)$/) {
1030       #print STDERR "exim4 #$1 style (unimplemented): $_\n";
1031       $self->_error("exim4 #$1 style (unimplemented): $_");
1032     } else {
1033       #print STDERR "default type: $_\n";
1034       $self->{_recips}{$_} = {};
1035       $addr = $_;
1036     }
1037     $self->{_udel_tree}{$addr} = 1 if (!$self->{_del_tree}{$addr});
1038   }
1039   $self->{_vars}{recipients}         = join(', ', keys(%{$self->{_recips}}));
1040   $self->{_vars}{recipients_del}     = join(', ', keys(%{$self->{_del_tree}}));
1041   $self->{_vars}{recipients_undel}   = join(', ', keys(%{$self->{_udel_tree}}));
1042   $self->{_vars}{recipients_undel_count} = scalar(keys(%{$self->{_udel_tree}}));
1043   $self->{_vars}{recipients_del_count}   = 0;
1044   foreach my $r (keys %{$self->{_del_tree}}) {
1045     next if (!$self->{_recips}{$r});
1046     $self->{_vars}{recipients_del_count}++;
1047   }
1048
1049   # blank line
1050   $_ = <I>;
1051   return(0) if (!/^$/);
1052
1053   # start reading headers
1054   while (read(I, $_, 3) == 3) {
1055     my $t = getc(I);
1056     return(0) if (!length($t));
1057     while ($t =~ /^\d$/) {
1058       $_ .= $t;
1059       $t  = getc(I);
1060     }
1061     my $hdr_flag  = $t;
1062     my $hdr_bytes = $_;
1063     $t            = getc(I);              # strip the space out of the file
1064     return(0) if (read(I, $_, $hdr_bytes) != $hdr_bytes);
1065     if ($hdr_flag ne '*') {
1066       $self->{_vars}{message_linecount} += (tr/\n//);
1067       $self->{_vars}{message_size}      += $hdr_bytes;
1068     }
1069
1070     # mark (rb)?header_ vars as existing and store raw value.  They'll be
1071     # processed further in get_var() if needed
1072     my($v,$d) = split(/:/, $_, 2);
1073     $v = "header_" . lc($v);
1074     $self->{_vars}{$v} = $self->{_vars}{"b$v"} = $self->{_vars}{"r$v"} = undef;
1075     push(@{$self->{_vars_raw}{"r$v"}{vals}}, $d);
1076     $self->{_vars_raw}{"r$v"}{type} = $hdr_flag;
1077     $self->{_vars}{message_headers_raw} .= $_;
1078   }
1079   close(I);
1080
1081   $self->{_vars}{message_body_size} =
1082       (stat($self->{_path}.'/'.$self->{_message}.'-D'))[7] - 19;
1083   if ($self->{_vars}{message_body_size} < 0) {
1084     $self->{_vars}{message_size} = 0;
1085     $self->{_vars}{message_body_missing} = 1;
1086   } else {
1087     $self->{_vars}{message_size} += $self->{_vars}{message_body_size} + 1;
1088   }
1089
1090   $self->{_vars}{message_linecount} += $self->{_vars}{body_linecount};
1091
1092   my $i = $self->{_vars}{message_size};
1093   if ($i == 0)          { $i = ""; }
1094   elsif ($i < 1024)     { $i = sprintf("%d",    $i);                    }
1095   elsif ($i < 10240)    { $i = sprintf("%.1fK", $i / 1024);             }
1096   elsif ($i < 1048576)  { $i = sprintf("%dK",   ($i+512)/1024);         }
1097   elsif ($i < 10485760) { $i = sprintf("%.1fM", $i/1048576);            }
1098   else                  { $i = sprintf("%dM",   ($i + 524288)/1048576); }
1099   $self->{_vars}{shown_message_size} = $i;
1100
1101   return(1);
1102 }
1103
1104 # mimic exim's host_extract_port function - receive a ref to a scalar,
1105 # strip it of port, return port
1106 sub _get_host_and_port {
1107   my $self = shift;
1108   my $host = shift; # scalar ref, be careful
1109
1110   if ($$host =~ /^\[([^\]]+)\](?:\:(\d+))?$/) {
1111     $$host = $1;
1112     return($2 || 0);
1113   } elsif ($$host =~ /^(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})(?:\.(\d+))?$/) {
1114     $$host = $1;
1115     return($2 || 0);
1116   } elsif ($$host =~ /^([\d\:]+)(?:\.(\d+))?$/) {
1117     $$host = $1;
1118     return($2 || 0);
1119   }
1120   # implicit else
1121   return(0);
1122 }
1123
1124 # honoring all formatting preferences, return a scalar variable of the
1125 # information for the single message matching what exim -bp would show.
1126 # We can print later if we want.
1127 sub format_message {
1128   my $self = shift;
1129   my $o    = '';
1130   return if ($self->{_delivered});
1131
1132   # define any vars we want to print out for this message.  The requests
1133   # can be regexps, and the defined vars can change for each message, so we
1134   # have to build this list for each message
1135   my @vars = ();
1136   if (@{$self->{_show_vars}}) {
1137     my %t = ();
1138     foreach my $e (@{$self->{_show_vars}}) {
1139       foreach my $v ($self->get_matching_vars($e)) {
1140         next if ($t{$v}); $t{$v}++; push(@vars, $v);
1141       }
1142     }
1143   }
1144
1145   if ($self->{_output_idonly}) {
1146     $o .= $self->{_message};
1147     foreach my $v (@vars) { $o .= " $v='" . $self->get_var($v) . "'"; }
1148     $o .= "\n";
1149     return $o;
1150   } elsif ($self->{_output_vars_only}) {
1151     foreach my $v (@vars) { $o .= $self->get_var($v) . "\n"; }
1152     return $o;
1153   }
1154
1155   if ($self->{_output_long} || $self->{_output_flatq}) {
1156     my $i = int($self->{_vars}{message_age} / 60);
1157     if ($i > 90) {
1158       $i = int(($i+30)/60);
1159       if ($i > 72) { $o .= sprintf "%2dd ", int(($i+12)/24); }
1160       else { $o .= sprintf "%2dh ", $i; }
1161     } else { $o .= sprintf "%2dm ", $i; }
1162
1163     if ($self->{_output_flatq} && @vars) {
1164         $o .= join(';', map { "$_='".$self->get_var($_)."'" } (@vars)
1165                   );
1166     } else {
1167       $o .= sprintf "%5s", $self->{_vars}{shown_message_size};
1168     }
1169     $o .= " ";
1170   }
1171   $o .= "$self->{_message} ";
1172   $o .= "From: " if ($self->{_output_brief});
1173   $o .= "<$self->{_vars}{sender_address}>";
1174
1175   if ($self->{_output_long}) {
1176     $o .= " ($self->{_vars}{originator_login})"
1177         if ($self->{_vars}{sender_set_untrusted});
1178
1179     # XXX exim contains code here to print spool format errors
1180     $o .= " *** frozen ***" if ($self->{_vars}{deliver_freeze});
1181     $o .= "\n";
1182
1183     foreach my $v (@vars) {
1184       $o .= sprintf "  %25s = '%s'\n", $v, $self->get_var($v);
1185     }
1186
1187     foreach my $r (keys %{$self->{_recips}}) {
1188       next if ($self->{_del_tree}{$r} && $self->{_undelivered_only});
1189       $o .= sprintf "        %s %s\n", $self->{_del_tree}{$r} ? "D" : " ", $r;
1190     }
1191     if ($self->{_show_generated}) {
1192       foreach my $r (keys %{$self->{_del_tree}}) {
1193         next if ($self->{_recips}{$r});
1194         $o .= sprintf "       +D %s\n", $r;
1195       }
1196     }
1197   } elsif ($self->{_output_brief}) {
1198     my @r = ();
1199     foreach my $r (keys %{$self->{_recips}}) {
1200       next if ($self->{_del_tree}{$r});
1201       push(@r, $r);
1202     }
1203     $o .= " To: " . join(';', @r);
1204     if (scalar(@vars)) {
1205       $o .= " Vars: ".join(';',map { "$_='".$self->get_var($_)."'" } (@vars));
1206     }
1207   } elsif ($self->{_output_flatq}) {
1208     $o .= " *** frozen ***" if ($self->{_vars}{deliver_freeze});
1209     my @r = ();
1210     foreach my $r (keys %{$self->{_recips}}) {
1211       next if ($self->{_del_tree}{$r});
1212       push(@r, $r);
1213     }
1214     $o .= " " . join(' ', @r);
1215   }
1216
1217   $o .= "\n";
1218   return($o);
1219 }
1220
1221 sub print_message {
1222   my $self = shift;
1223   my $fh   = shift || \*STDOUT;
1224   return if ($self->{_delivered});
1225
1226   print $fh $self->format_message();
1227 }
1228
1229 sub dump {
1230   my $self = shift;
1231
1232   foreach my $k (sort keys %$self) {
1233     my $r = ref($self->{$k});
1234     if ($r eq 'ARRAY') {
1235       printf "%20s <<EOM\n", $k;
1236       print @{$self->{$k}}, "EOM\n";
1237     } elsif ($r eq 'HASH') {
1238       printf "%20s <<EOM\n", $k;
1239       foreach (sort keys %{$self->{$k}}) {
1240         printf "%20s %s\n", $_, $self->{$k}{$_};
1241       }
1242       print "EOM\n";
1243     } else {
1244       printf "%20s %s\n", $k, $self->{$k};
1245     }
1246   }
1247 }
1248
1249 } # BEGIN
1250
1251 sub ext_usage {
1252   if ($ARGV[0] =~ /^--help$/i) {
1253     require Config;
1254     $ENV{PATH} .= ":" unless $ENV{PATH} eq "";
1255     $ENV{PATH} = "$ENV{PATH}$Config::Config{'installscript'}";
1256     #exec("perldoc", "-F", "-U", $0) || exit 1;
1257     $< = $> = 1 if ($> == 0 || $< == 0);
1258     exec("perldoc", $0) || exit 1;
1259     # make parser happy
1260     %Config::Config = ();
1261   } elsif ($ARGV[0] =~ /^--version$/i) {
1262     print "$p_name version $p_version\n\n$p_cp\n";
1263   } else {
1264     return;
1265   }
1266
1267   exit(0);
1268 }
1269
1270 __END__
1271
1272 =head1 NAME
1273
1274 exipick - selectively display messages from an Exim queue
1275
1276 =head1 SYNOPSIS
1277
1278 exipick [<options>] [<criterion> [<criterion> ...]]
1279
1280 =head1 DESCRIPTION
1281
1282 exipick is a tool to display messages in an Exim queue.  It is very similar to exiqgrep and is, in fact, a drop in replacement for exiqgrep.  exipick allows you to select messages to be displayed using any piece of data stored in an Exim spool file.  Matching messages can be displayed in a variety of formats.
1283
1284 =head1 QUICK START
1285
1286 Delete every frozen message from queue:
1287     exipick -zi | xargs exim -Mrm
1288
1289 Show only messages which have not yet been virus scanned:
1290     exipick '$received_protocol ne virus-scanned'
1291
1292 Run the queue in a semi-random order:
1293     exipick -i --random | xargs exim -M
1294
1295 Show the count and total size of all messages which either originated from localhost or have a received protocol of 'local':
1296     exipick --or --size --bpc \
1297             '$sender_host_address eq 127.0.0.1' \
1298             '$received_protocol eq local'
1299
1300 Display all messages received on the MSA port, ordered first by the sender's email domain and then by the size of the emails:
1301     exipick --sort sender_address_domain,message_size \
1302             '$received_port == 587'
1303
1304 Display only messages whose every recipient is in the example.com domain, also listing the IP address of the sending host:
1305     exipick --show-vars sender_host_address \
1306             '$each_recipients = example.com'
1307
1308 Same as above, but show values for all defined variables starting with sender_ and the number of recipients:
1309     exipick --show-vars ^sender_,recipients_count \
1310             '$each_recipients = example.com'
1311
1312 =head1 OPTIONS
1313
1314 =over 4
1315
1316 =item --and
1317
1318 Display messages matching all criteria (default)
1319
1320 =item -b
1321
1322 Display messages in brief format (exiqgrep)
1323
1324 =item -bp
1325
1326 Display messages in standard mailq format (default)
1327
1328 =item -bpa
1329
1330 Same as -bp, show generated addresses also (exim)
1331
1332 =item -bpc
1333
1334 Show a count of matching messages (exim)
1335
1336 =item -bpr
1337
1338 Same as '-bp --unsorted' (exim)
1339
1340 =item -bpra
1341
1342 Same as '-bpa --unsorted' (exim)
1343
1344 =item -bpru
1345
1346 Same as '-bpu --unsorted' (exim)
1347
1348 =item -bpu
1349
1350 Same as -bp, but only show undelivered messages (exim)
1351
1352 =item -c
1353
1354 Show a count of matching messages (exiqgrep)
1355
1356 =item --caseful
1357
1358 Make operators involving '=' honor case
1359
1360 =item --charset
1361
1362 Override the default local character set for $header_ decoding
1363
1364 =item -f <regexp>
1365
1366 Same as '$sender_address =~ /<regexp>/' (exiqgrep).  Note that this preserves the default case sensitivity of exiqgrep's interface.
1367
1368 =item --finput
1369
1370 Same as '--input-dir Finput'.  'Finput' is where exim copies frozen messages when compiled with SUPPORT_MOVE_FROZEN_MESSAGES.
1371
1372 =item --flatq
1373
1374 Use a single-line output format
1375
1376 =item --freeze <cache file>
1377
1378 Save queue information in an quickly retrievable format
1379
1380 =item --help
1381
1382 Display this output
1383
1384 =item -i
1385
1386 Display only the message IDs (exiqgrep)
1387
1388 =item --input-dir <inputname>
1389
1390 Set the name of the directory under the spool directory.  By defaut this is "input".  If this starts with '/', the value of --spool is ignored.  See also --finput.
1391
1392 =item -l
1393
1394 Same as -bp (exiqgrep)
1395
1396 =item --not
1397
1398 Negate all tests.
1399
1400 =item -o <seconds>
1401
1402 Same as '$message_age > <seconds>' (exiqgrep)
1403
1404 =item --or
1405
1406 Display messages matching any criteria
1407
1408 =item -R
1409
1410 Same as --reverse (exiqgrep)
1411
1412 =item -r <regexp>
1413
1414 Same as '$recipients =~ /<regexp>/' (exiqgrep).  Note that this preserves the default case sensitivity of exiqgrep's interface.
1415
1416 =item --random
1417
1418 Display messages in random order
1419
1420 =item --reverse
1421
1422 Display messages in reverse order
1423
1424 =item -s <string>
1425
1426 Same as '$shown_message_size eq <string>' (exiqgrep)
1427
1428 =item --spool <path>
1429
1430 Set the path to the exim spool to use.  This value will have the argument to --input or 'input' appended, or be ignored if --input is a full path.
1431
1432 =item --show-rules
1433
1434 Show the internal representation of each criterion specified
1435
1436 =item --show-tests
1437
1438 Show the result of each criterion on each message
1439
1440 =item --show-vars <variable>[,<variable>...]
1441
1442 Show the value for <variable> for each displayed message.  <variable> will be a regular expression if it begins with a circumflex.
1443
1444 =item --size
1445
1446 Show the total bytes used by each displayed message
1447
1448 =item --thaw <cache file>
1449
1450 Read queue information cached from a previous --freeze run
1451
1452 =item --sort <variable>[,<variable>...]
1453
1454 Display matching messages sorted according to <variable>
1455
1456 =item --unsorted
1457
1458 Do not apply any sorting to output
1459
1460 =item --version
1461
1462 Display the version of this command
1463
1464 =item -x
1465
1466 Same as '!$deliver_freeze' (exiqgrep)
1467
1468 =item -y
1469
1470 Same as '$message_age < <seconds>' (exiqgrep)
1471
1472 =item -z
1473
1474 Same as '$deliver_freeze' (exiqgrep)
1475
1476 =back
1477
1478 =head1 CRITERIA
1479
1480 Exipick decides which messages to display by applying a test against each message.  The rules take the general form of 'VARIABLE OPERATOR VALUE'.  For example, '$message_age > 60'.  When exipick is deciding which messages to display, it checks the $message_age variable for each message.  If a message's age is greater than 60, the message will be displayed.  If the message's age is 60 or less seconds, it will not be displayed.
1481
1482 Multiple criteria can be used.  The order they are specified does not matter.  By default all criteria must evaluate to true for a message to be displayed.  If the --or option is used, a message is displayed as long as any of the criteria evaluate to true.
1483
1484 See the VARIABLES and OPERATORS sections below for more details
1485
1486 =head1 OPERATORS
1487
1488 =over 4
1489
1490 =item BOOLEAN
1491
1492 Boolean variables are checked simply by being true or false.  There is no real operator except negation.  Examples of valid boolean tests:
1493   '$deliver_freeze'
1494   '!$deliver_freeze'
1495
1496 =item NUMERIC
1497
1498 Valid comparisons are <, <=, >, >=, ==, and !=.  Numbers can be integers or floats.  Any number in a test suffixed with d, h, m, s, M, K, or B will be multiplied by 86400, 3600, 60, 1, 1048576, 1024, or 1 respectively.  Examples of valid numeric tests:
1499   '$message_age >= 3d'
1500   '$local_interface == 587'
1501   '$message_size < 30K'
1502
1503 =item STRING
1504
1505 The string operators are =, eq, ne, =~, and !~.  With the exception of '=', the operators all match the functionality of the like-named perl operators.  eq and ne match a string exactly.  !~, =~, and = apply a perl regular expression to a string.  The '=' operator behaves just like =~ but you are not required to place // around the regular expression.  Examples of valid string tests:
1506   '$received_protocol eq esmtp'
1507   '$sender_address = example.com'
1508   '$each_recipients =~ /^a[a-z]{2,3}@example.com$/'
1509
1510 =item NEGATION
1511
1512 There are many ways to negate tests, each having a reason for existing.  Many tests can be negated using native operators.  For instance, >1 is the opposite of <=1 and eq and ne are opposites.  In addition, each individual test can be negated by adding a ! at the beginning of the test.  For instance, '!$acl_m1 =~ /^DENY$/' is the same as '$acl_m1 !~ /^DENY$/'.  Finally, every test can be specified by using the command line argument --not.  This is functionally equivalent to adding a ! to the beginning of every test.
1513
1514 =back
1515
1516 =head1 VARIABLES
1517
1518 With a few exceptions the available variables match Exim's internal expansion variables in both name and exact contents.  There are a few notable additions and format deviations which are noted below.  Although a brief explanation is offered below, Exim's spec.txt should be consulted for full details.  It is important to remember that not every variable will be defined for every message.  For example, $sender_host_port is not defined for messages not received from a remote host.
1519
1520 Internally, all variables are represented as strings, meaning any operator will work on any variable.  This means that '$sender_host_name > 4' is a legal criterion, even if it does not produce meaningful results.  Variables in the list below are marked with a 'type' to help in choosing which types of operators make sense to use.
1521
1522   Identifiers
1523     B - Boolean variables
1524     S - String variables
1525     N - Numeric variables
1526     . - Standard variable matching Exim's content definition
1527     # - Standard variable, contents differ from Exim's definition
1528     + - Non-standard variable
1529
1530 =over 4
1531
1532 =item S . $acl_c0-$acl_c9, $acl_m0-$acl_m9
1533
1534 User definable variables.
1535
1536 =item B + $allow_unqualified_recipient
1537
1538 TRUE if unqualified recipient addresses are permitted in header lines.
1539
1540 =item B + $allow_unqualified_sender
1541
1542 TRUE if unqualified sender addresses are permitted in header lines.
1543
1544 =item S . $authenticated_id
1545
1546 Optional saved information from authenticators, or the login name of the calling process for locally submitted messages.
1547
1548 =item S . $authenticated_sender
1549
1550 The value of AUTH= param for smtp messages, or a generated value from the calling processes login and qualify domain for locally submitted messages.
1551
1552 =item S . $bheader_*, $bh_*
1553
1554 Value of the header(s) with the same name with any RFC2047 words decoded if present.  See section 11.5 of Exim's spec.txt for full details.
1555
1556 =item S + $bmi_verdicts
1557
1558 The verdict string provided by a Brightmail content scan
1559
1560 =item N . $body_linecount
1561
1562 The number of lines in the message's body.
1563
1564 =item N . $body_zerocount
1565
1566 The number of binary zero bytes in the message's body.
1567
1568 =item S + $data_path
1569
1570 The path to the body file's location in the filesystem.
1571
1572 =item B + $deliver_freeze
1573
1574 TRUE if the message is currently frozen.
1575
1576 =item N + $deliver_frozen_at
1577
1578 The epoch time at which message was frozen.
1579
1580 =item B + $dont_deliver
1581
1582 TRUE if, under normal circumstances, Exim will not try to deliver the message.
1583
1584 =item S + $each_recipients
1585
1586 This is a psuedo variable which allows you to apply a test against each address in $recipients individually.  Whereas '$recipients =~ /@aol.com/' will match if any recipient address contains aol.com, '$each_recipients =~ /@aol.com$/' will only be true if every recipient matches that pattern.  Note that this obeys --and or --or being set.  Using it with --or is very similar to just matching against $recipients, but with the added benefit of being able to use anchors at the beginning and end of each recipient address.
1587
1588 =item S + $each_recipients_del
1589
1590 Like $each_recipients, but for $recipients_del
1591
1592 =item S + $each_recipients_undel
1593
1594 Like $each_recipients, but for $recipients_undel
1595
1596 =item B . $first_delivery
1597
1598 TRUE if the message has never been deferred.
1599
1600 =item S . $header_*, $h_*
1601
1602 This will always match the contents of the corresponding $bheader_* variable currently (the same behaviour Exim displays when iconv is not installed).
1603
1604 =item S + $header_path
1605
1606 The path to the header file's location in the filesystem.
1607
1608 =item B . $host_lookup_deferred
1609
1610 TRUE if there was an attempt to look up the host's name from its IP address, but an error occurred that during the attempt.
1611
1612 =item B . $host_lookup_failed
1613
1614 TRUE if there was an attempt to look up the host's name from its IP address, but the attempt returned a negative result.
1615
1616 =item B + $local_error_message
1617
1618 TRUE if the message is a locally-generated error message.
1619
1620 =item S . $local_scan_data
1621
1622 The text returned by the local_scan() function when a message is received.
1623
1624 =item B . $manually_thawed
1625
1626 TRUE when the message has been manually thawed.
1627
1628 =item N . $max_received_linelength
1629
1630 The number of bytes in the longest line that was received as part of the message, not counting line termination characters.
1631
1632 =item N . $message_age
1633
1634 The number of seconds since the message was received.
1635
1636 =item S # $message_body
1637
1638 The message's body.  Unlike Exim's variable of the same name, this variable contains the entire message body.  Newlines and nulls are replaced by spaces.
1639
1640 =item B + $message_body_missing
1641
1642 TRUE is a message's spool data file (-D file) is missing or unreadable.
1643
1644 =item N . $message_body_size
1645
1646 The size of the body in bytes.
1647
1648 =item S . $message_exim_id, $message_id
1649
1650 The unique message id that is used by Exim to identify the message.  $message_id is deprecated as of Exim 4.53.
1651
1652 =item S . $message_headers
1653
1654 A concatenation of all the header lines except for lines added by routers or transports.  RFC2047 decoding is performed
1655
1656 =item S . $message_headers_raw
1657
1658 A concatenation of all the header lines except for lines added by routers or transports.  No decoding or translation is performed.
1659
1660 =item N . $message_linecount
1661
1662 The number of lines in the entire message (body and headers).
1663
1664 =item N . $message_size
1665
1666 The size of the message in bytes.
1667
1668 =item N . $originator_gid
1669
1670 The group id under which the process that called Exim was running as when the message was received.
1671
1672 =item S + $originator_login
1673
1674 The login of the process which called Exim.
1675
1676 =item N . $originator_uid
1677
1678 The user id under which the process that called Exim was running as when the message was received.
1679
1680 =item S . $received_ip_address, $interface_address
1681
1682 The address of the local IP interface for network-originated messages.  $interface_address is deprecated as of Exim 4.64
1683
1684 =item N . $received_port, $interface_port
1685
1686 The local port number if network-originated messages.  $interface_port is deprecated as of Exim 4.64
1687
1688 =item N . $received_count
1689
1690 The number of Received: header lines in the message.
1691
1692 =item S . $received_protocol
1693
1694 The name of the protocol by which the message was received.
1695
1696 =item N . $received_time
1697
1698 The epoch time at which the message was received.
1699
1700 =item S # $recipients
1701
1702 The list of envelope recipients for a message.  Unlike Exim's version, this variable always contains every recipient of the message.  The recipients are separated by a comma and a space.  See also $each_recipients.
1703
1704 =item N . $recipients_count
1705
1706 The number of envelope recipients for the message.
1707
1708 =item S + $recipients_del
1709
1710 The list of delivered envelope recipients for a message.  This non-standard variable is in the same format as $recipients and contains the list of already-delivered recipients including any generated addresses.  See also $each_recipients_del.
1711
1712 =item N + $recipients_del_count
1713
1714 The number of envelope recipients for the message which have already been delivered.  Note that this is the count of original recipients to which the message has been delivered.  It does not include generated addresses so it is possible that this number will be less than the number of addresses in the $recipients_del string.
1715
1716 =item S + $recipients_undel
1717
1718 The list of undelivered envelope recipients for a message.  This non-standard variable is in the same format as $recipients and contains the list of undelivered recipients.  See also $each_recipients_undel.
1719
1720 =item N + $recipients_undel_count
1721
1722 The number of envelope recipients for the message which have not yet been delivered.
1723
1724 =item S . $reply_address
1725
1726 The contents of the Reply-To: header line if one exists and it is not empty, or otherwise the contents of the From: header line.
1727
1728 =item S . $rheader_*, $rh_*
1729
1730 The value of the message's header(s) with the same name.  See section 11.5 of Exim's spec.txt for full description.
1731
1732 =item S . $sender_address
1733
1734 The sender's address that was received in the message's envelope.  For bounce messages, the value of this variable is the empty string.
1735
1736 =item S . $sender_address_domain
1737
1738 The domain part of $sender_address.
1739
1740 =item S . $sender_address_local_part
1741
1742 The local part of $sender_address.
1743
1744 =item S . $sender_helo_name
1745
1746 The HELO or EHLO value supplied for smtp or bsmtp messages.
1747
1748 =item S . $sender_host_address
1749
1750 The remote host's IP address.
1751
1752 =item S . $sender_host_authenticated
1753
1754 The name of the authenticator driver which successfully authenticated the client from which the message was received.
1755
1756 =item S . $sender_host_name
1757
1758 The remote host's name as obtained by looking up its IP address.
1759
1760 =item N . $sender_host_port
1761
1762 The port number that was used on the remote host for network-originated messages.
1763
1764 =item S . $sender_ident
1765
1766 The identification received in response to an RFC 1413 request for remote messages, the login name of the user that called Exim for locally generated messages.
1767
1768 =item B + $sender_local
1769
1770 TRUE if the message was locally generated.
1771
1772 =item B + $sender_set_untrusted
1773
1774 TRUE if the envelope sender of this message was set by an untrusted local caller.
1775
1776 =item S + $shown_message_size
1777
1778 This non-standard variable contains the formatted size string.  That is, for a message whose $message_size is 66566 bytes, $shown_message_size is 65K.
1779
1780 =item S . $smtp_active_hostname
1781
1782 The value of the active host name when the message was received, as specified by the "smtp_active_hostname" option.
1783
1784 =item S . $spam_score
1785
1786 The spam score of the message, for example '3.4' or '30.5'.  (Requires exiscan or WITH_CONTENT_SCAN)
1787
1788 =item S . $spam_score_int
1789
1790 The spam score of the message, multiplied by ten, as an integer value.  For instance '34' or '305'.  (Requires exiscan or WITH_CONTENT_SCAN)
1791
1792 =item B . $tls_certificate_verified
1793
1794 TRUE if a TLS certificate was verified when the message was received.
1795
1796 =item S . $tls_cipher
1797
1798 The cipher suite that was negotiated for encrypted SMTP connections.
1799
1800 =item S . $tls_peerdn
1801
1802 The value of the Distinguished Name of the certificate if Exim is configured to request one
1803
1804 =item S . $tls_sni
1805
1806 The value of the Server Name Indication TLS extension sent by a client, if one was sent.
1807
1808 =item N + $warning_count
1809
1810 The number of delay warnings which have been sent for this message.
1811
1812 =back
1813
1814 =head1 CONTACT
1815
1816 =over 4
1817
1818 =item EMAIL: proj-exipick@jetmore.net
1819
1820 =item HOME: jetmore.org/john/code/#exipick
1821
1822 =back
1823
1824 =cut