DKIM: more care over untrustworthy data during verify
[users/jgh/exim.git] / release-process / scripts / mk_exim_release
1 #!/usr/bin/env perl
2 # Copyright (c) The Exim Maintainers 2016
3
4 use strict;
5 use warnings;
6 use Carp;
7 use File::Copy;
8 use File::Spec;
9 use File::Path;
10 use File::Temp;
11 use FindBin;
12 use Getopt::Long;
13 use IO::File;
14 use Pod::Usage;
15
16 my $debug   = 0;
17 my $verbose = 0;
18
19 # ------------------------------------------------------------------
20
21 sub get_and_check_version {
22     my $release = shift;
23     my $context = shift;
24
25     # make sure this looks like a real release version
26     # which should (currently) be 4.xx[.y] or 4.xx[.y]_RCx
27     unless ( $release =~ /^(?<release>(?<major>4\.\d\d)(?:\.(?<minor>\d+))?(?:_RC\d+)?)$/ ) {
28         croak "The given version number does not look right - $release";
29     }
30     $context->{release}  = $+{release};
31     $context->{major} = $+{major};
32     $context->{minor} = $+{minor};
33
34     ($context->{trelease} = $+{release}) =~ s/_RC\d+//;
35 }
36
37 # ------------------------------------------------------------------
38
39 sub build_tag {
40     my $context = shift;
41
42     # The CVS tag consists of exim-$version where $version
43     # is the version number with . replaced with _
44     my $modversion = $context->{release};
45     $modversion =~ tr/0-9RC/_/cs;
46
47     return sprintf( 'exim-%s', $modversion );
48 }
49
50 # ------------------------------------------------------------------
51
52 sub deal_with_working_directory {
53     my $context = shift;
54     my $delete  = shift;
55
56     # Set default directory
57     $context->{directory} ||= File::Spec->rel2abs( sprintf( 'exim-packaging-%s', $context->{release} ) );
58     my $directory = $context->{directory};
59
60     # ensure the working directory is not in place
61     if ( -d $directory ) {
62         if ($delete) {
63             print "Deleting existing $directory\n" if ($verbose);
64             rmtree( $directory, { verbose => $debug } );
65         }
66         if ( -d $directory ) {
67             croak "Working directory $directory exists";
68         }
69     }
70
71     # create base directory
72     mkpath( $context->{directory}, { verbose => ( $verbose || $debug ) } );
73
74     # set and create subdirectories
75     foreach (qw(release_tree pkgs pkgdirs docbook tmp)) {
76         $context->{$_} = File::Spec->catdir( $context->{directory}, $_ );
77         mkpath( $context->{$_}, { verbose => ( $verbose || $debug ) } );
78     }
79 }
80
81 # ------------------------------------------------------------------
82
83 sub export_git_tree {
84     my $context = shift;
85
86     # build git command
87     my $archive_file = sprintf( '%s/%s-%s.tar', $context->{tmp}, $context->{pkgname}, $context->{release} );
88     $context->{tmp_archive_file} = $archive_file;
89     my @cmd = ( 'git', 'archive', '--format=tar', "--output=$archive_file", $context->{tag} );
90     # run git command
91     print( "Running: ", join( ' ', @cmd ), "\n" ) if ($verbose);
92     system(@cmd) == 0 || croak "Export failed";
93 }
94
95 # ------------------------------------------------------------------
96
97 sub unpack_tree {
98     my $context = shift;
99
100     die "Cannot see archive file\n" unless ( -f $context->{tmp_archive_file} );
101     my @cmd = ( 'tar', 'xf', $context->{tmp_archive_file}, '-C', $context->{release_tree} );
102
103     # run  command
104     print( "Running: ", join( ' ', @cmd ), "\n" ) if ($verbose);
105     system(@cmd) == 0 || croak "Unpack failed";
106 }
107
108 # ------------------------------------------------------------------
109
110 sub make_version_script {
111     my $context = shift;
112
113     my $variant = substr( $context->{release}, length($context->{trelease}) );
114     if ( $context->{release} ne $context->{trelease} . $variant ) {
115         die "Broken version numbering, I'm buggy";
116     }
117
118     my $srcdir    = File::Spec->catdir( $context->{release_tree}, 'src', 'src' );
119     chdir $srcdir or die "chdir $srcdir: $!\n";
120
121     if ( -f "version.sh" ) {
122         print( "WARNING: version.sh already exists - leaving it in place\n" );
123         return;
124     }
125
126     # Currently (25. Feb. 2016) the mk_exim_release.pl up to now can't
127     # deal with security releases.!? So we need a current
128     # mk_exim_release.pl. But if we use a current (master), the
129     # reversion script returns wrong version info (it's running inside
130     # the Git tree and uses git --describe, which always returns the
131     # current version of master.) I do not want to change the old
132     # reversion scripts (in 4.86.1, 4.85.1).
133     #
134     # Thus we've to provide the version.sh, based on the info we have
135     # about the release. If reversion finds this, it doesn't try to find
136     # it's own way to get a valid version number from the git.
137     open(my $v, '>', 'version.sh') or die "Can't open '>version.sh' $!\n";
138     print {$v} <<__;
139 # initial version automatically generated from $0
140 EXIM_RELEASE_VERSION=$context->{major}
141 EXIM_VARIANT_VERSION=@{[$context->{minor}?'_'.$context->{minor}:'']}
142 EXIM_COMPILE_NUMBER=0
143 __
144     close($v);
145     unlink 'version.h';
146     return;
147
148     # Later, if we get the reversion script fixed, we can call it again.
149     # For now (25. Feb. 2016) we'll leave it unused.
150     my @cmd = ("../scripts/reversion", "release", $context->{tag});
151     print( "Running: ", join( ' ', @cmd ), "\n" ) if ($verbose);
152     system(@cmd) == 0 || croak "reversion failed";
153
154     unlink "version.h";
155
156     -f "version.sh" or die "failed to create version.sh";
157 }
158
159 # ------------------------------------------------------------------
160
161 sub build_html_documentation {
162     my $context = shift;
163
164     my $genpath   = $context->{webgen_base} . '/script/gen.pl';
165     my $templates = $context->{webgen_base} . '/templates';
166     my $dir       = File::Spec->catdir( $context->{release_tree}, 'html' );
167     my $spec      = File::Spec->catfile( $context->{docbook}, 'spec.xml' );
168     my $filter    = File::Spec->catfile( $context->{docbook}, 'filter.xml' );
169
170     mkdir($dir);
171
172     my @cmd = (
173         $genpath,   '--spec',    $spec,                '--filter',
174         $filter,    '--latest',  $context->{trelease}, '--tmpl',
175         $templates, '--docroot', $dir,                 '--localstatic'
176     );
177     push @cmd, '--verbose' if $verbose or $debug;
178
179     print "Executing ", join( ' ', @cmd ), "\n";
180     system(@cmd);
181
182     # move directory into right place
183     my $sourcedir = File::Spec->catdir( $context->{docbook}, 'filter.xml' );
184
185     rename(
186         File::Spec->catdir( $dir,                sprintf( 'exim-html-%s', $context->{trelease} ) ),
187         File::Spec->catdir( $context->{pkgdirs}, sprintf( 'exim-html-%s', $context->{release} ) )
188     );
189 }
190
191 # ------------------------------------------------------------------
192
193 sub copy_docbook_files {
194     my $context = shift;
195
196     # where the generated docbook files can be found
197     my $docdir = File::Spec->catdir( $context->{release_tree}, 'doc', 'doc-docbook' );
198
199     # where the website docbook source dir is - push files to here
200     my $webdir = File::Spec->catdir( $context->{webgen_base}, 'docbook', $context->{trelease} );
201     mkpath( $webdir, { verbose => ( $verbose || $debug ) } );
202
203     foreach my $file ( 'spec.xml', 'filter.xml' ) {
204         my $from  = File::Spec->catfile( $docdir,             $file );
205         my $to    = File::Spec->catfile( $context->{docbook}, $file );
206         my $webto = File::Spec->catfile( $webdir,             $file );
207         copy( $from, $to );
208         copy( $from, $webto );
209     }
210 }
211
212 # ------------------------------------------------------------------
213
214 sub build_documentation {
215     my $context = shift;
216
217     my $docdir = File::Spec->catdir( $context->{release_tree}, 'doc', 'doc-docbook' );
218     # documentation building gets the truncated release, without RC
219     system("cd '$docdir' && ./OS-Fixups && $context->{make_cmd} EXIM_VER=$context->{trelease} everything") == 0
220       || croak "Doc build failed";
221
222     copy_docbook_files($context);
223     build_html_documentation($context) if $context->{web};
224 }
225
226 # ------------------------------------------------------------------
227
228 sub move_text_docs_into_pkg {
229     my $context = shift;
230
231     my $old_docdir = File::Spec->catdir( $context->{release_tree}, 'doc', 'doc-docbook' );
232     my $old_txtdir = File::Spec->catdir( $context->{release_tree}, 'doc', 'doc-txt' );
233     my $new_docdir = File::Spec->catdir( $context->{eximpkgdir}, 'doc' );
234     mkpath( $new_docdir, { verbose => ( $verbose || $debug ) } );
235
236     # move generated documents from docbook stuff
237     foreach my $file (qw/exim.8 spec.txt filter.txt/) {
238         die "Empty file \"$file\"\n" if -z File::Spec->catfile( $old_docdir, $file );
239         move( File::Spec->catfile( $old_docdir, $file ), File::Spec->catfile( $new_docdir, $file ) );
240     }
241
242     # move text documents across
243     foreach my $file ( glob( File::Spec->catfile( $old_txtdir, '*' ) ) ) {
244
245         # skip a few we dont want
246         my $fn = ( File::Spec->splitpath($file) )[2];
247         next
248           if ( ( $fn eq 'ABOUT' )
249             || ( $fn eq 'ChangeLog.0' )
250             || ( $fn eq 'test-harness.txt' )
251             # Debian issue re licensing of RFCs
252             || ( $fn =~ /^draft-ietf-.*/ )
253             || ( $fn =~ /^rfc.*/ )
254              );
255         move( $file, File::Spec->catfile( $new_docdir, $fn ) );
256     }
257 }
258
259 # ------------------------------------------------------------------
260
261 sub build_pspdfinfo_directory {
262     my $context = shift;
263
264     ##foreach my $format (qw/pdf postscript texinfo info/) {
265     foreach my $format (qw/pdf postscript/) {
266         my $target = File::Spec->catdir( $context->{pkgdirs}, sprintf( 'exim-%s-%s', $format, $context->{release} ), 'doc' );
267         mkpath( $target, { verbose => ( $verbose || $debug ) } );
268
269         # move documents across
270         foreach my $file (
271             glob(
272                 File::Spec->catfile(
273                     $context->{release_tree},
274                     'doc',
275                     'doc-docbook',
276                     (
277                         ( $format eq 'postscript' )
278                         ? '*.ps'
279                         : ( '*.' . $format )
280                     )
281                 )
282             )
283           )
284         {
285             move( $file, File::Spec->catfile( $target, ( File::Spec->splitpath($file) )[2] ) );
286         }
287     }
288 }
289
290 # ------------------------------------------------------------------
291
292 sub build_main_package_directory {
293     my $context = shift;
294
295     # build the exim package directory path
296     $context->{eximpkgdir} = File::Spec->catdir( $context->{pkgdirs}, sprintf( 'exim-%s', $context->{release} ) );
297
298     # initially we move the exim-src directory to the new directory name
299     rename( File::Spec->catdir( $context->{release_tree}, 'src' ), $context->{eximpkgdir} )
300       || croak "Rename of src dir failed - $!";
301
302     # add Local subdirectory
303     mkpath( File::Spec->catdir( $context->{eximpkgdir}, 'Local' ), { verbose => ( $verbose || $debug ) } );
304
305     # now add the text docs
306     move_text_docs_into_pkg($context);
307 }
308
309 # ------------------------------------------------------------------
310
311 sub build_package_directories {
312     my $context = shift;
313
314     build_main_package_directory($context);
315     build_pspdfinfo_directory($context) if $context->{build_docs};
316 }
317
318 # ------------------------------------------------------------------
319
320 sub do_cleanup {
321     my $context = shift;
322
323     print "Cleaning up\n" if ($verbose);
324     chdir( $context->{directory} ) || die;
325     rmtree( $context->{release_tree}, { verbose => $debug } );
326     rmtree( $context->{docbook},      { verbose => $debug } );
327     rmtree( $context->{pkgdirs},      { verbose => $debug } );
328 }
329
330 # ------------------------------------------------------------------
331
332 # We prefer gtar to tar if gtar exists in $PATH
333
334 sub fix_paths_tar {
335     my $context = shift;
336     my $tar = $context->{tar_cmd};
337
338     return unless $tar eq 'tar';
339
340     foreach my $d (File::Spec->path()) {
341         my $p = File::Spec->catfile($d, 'gtar');
342         if (-x $p) {
343             $context->{tar_cmd} = $p;
344             print "Switched tar command to: $p\n" if ($verbose);
345             return;
346         }
347     }
348 }
349
350 # ------------------------------------------------------------------
351
352 sub create_tar_files {
353     my $context = shift;
354
355     my $pkgs    = $context->{pkgs};
356     my $pkgdirs = $context->{pkgdirs};
357     my $tar     = $context->{tar_cmd};
358     if ($verbose) {
359         foreach my $c (keys %{ $context->{compressors} }) {
360             print "Compression: $c\t$context->{compressors}{$c}\n";
361         }
362     }
363
364     foreach my $dir ( glob( File::Spec->catdir( $pkgdirs, ( 'exim*-' . $context->{release} ) ) ) ) {
365         my $dirname = ( File::Spec->splitdir($dir) )[-1];
366         if ($context->{compressors}{gzip}) {
367             print "Creating: ${pkgs}/${dirname}.tar.gz\n" if ($verbose || $debug);
368             system("$tar cf  ${pkgs}/${dirname}.tar.gz  --gzip  -C ${pkgdirs} ${dirname}")
369         }
370         if ($context->{compressors}{bzip2}) {
371             print "Creating: ${pkgs}/${dirname}.tar.bz2\n" if ($verbose || $debug);
372             system("$tar cf  ${pkgs}/${dirname}.tar.bz2 --bzip2 -C ${pkgdirs} ${dirname}")
373         }
374         if ($context->{compressors}{lzip}) {
375             print "Creating: ${pkgs}/${dirname}.tar.lz\n" if ($verbose || $debug);
376             system("$tar cf  ${pkgs}/${dirname}.tar.lz  --lzip  -C ${pkgdirs} ${dirname}")
377         }
378     }
379 }
380
381 # ------------------------------------------------------------------
382 MAIN: {
383
384     $0 =~ m|^(?:\./)?release-process/scripts/|
385     or die "$0: please call this script from the root of the Exim project sources\n";
386
387     my $context = {
388         pkgname     => 'exim',
389         orig_dir    => File::Spec->curdir(),
390         tmp_dir     => File::Temp->newdir(),
391         webgen_base => "$FindBin::Bin/../../../exim-website",
392         tar_cmd     => 'tar',
393         make_cmd    => 'make',
394         compressors => {
395                 gzip    => 1,
396                 bzip2   => 1,
397                 lzip    => 0,
398         },
399         build_docs   => 1,
400         web          => 1,
401     };
402     my $delete;
403     my $cleanup = 1;
404     ##$ENV{'PATH'} = '/opt/local/bin:' . $ENV{'PATH'};
405
406     GetOptions(
407         'directory=s'   => \$context->{directory},
408         'webgen_base=s' => \$context->{webgen_base},
409         'tar=s'         => \$context->{tar_cmd},
410         'make=s'        => \$context->{make_cmd},
411         'lzip!'         => \$context->{compressors}{lzip},
412         'verbose!'      => \$verbose,
413         'debug!'        => \$debug,
414         'help|?'        => sub { pod2usage(-verbose => 1, -exit => 0) },
415         'man!'          => sub { pod2usage(-verbose => 2, -exit => 0, -noperldoc => system('perldoc -V >/dev/null 2>&1')) },
416         'delete!'       => \$delete,
417         'cleanup!'      => \$cleanup,
418         'build-docs!'   => \$context->{build_docs},
419         'web!'          => \$context->{web},
420     ) and @ARGV == 1 or pod2usage;
421
422     umask(022);
423     get_and_check_version( shift, $context );
424     fix_paths_tar($context);
425     $context->{tag} = build_tag($context);
426     deal_with_working_directory( $context, $delete );
427     export_git_tree($context);
428     chdir( $context->{directory} ) || die;
429     unpack_tree($context);
430     make_version_script($context);
431     build_documentation($context) if $context->{build_docs};
432     build_package_directories($context);
433     create_tar_files($context);
434     do_cleanup($context) if ($cleanup);
435 }
436
437 1;
438
439 __END__
440
441 =head1 NAME
442
443 mk_exim_release - Build an exim release
444
445 =head1 SYNOPSIS
446
447  mk_exim_release [options] version
448
449 =head1 DESCRIPTION
450
451 B<mk_exim_release> builds an exim release.
452
453 Starting in a populated git repo that has already been tagged for
454 release it builds docs, packages etc.  Parameter is the version number
455 to build as - ie 4.72 4.72RC1, 4.86.1, etc
456
457 After creating the release files, they should be signed. There is another
458 helper for creating the signatures:
459 F<release-process/scripts/sign_exim_packages>.
460
461 Call B<mk_exim_release> about like this:
462
463     release-process/scripts/mk_exim_release 4.99
464
465
466 =head1 OPTIONS
467
468 =over 4
469
470 =item B<--[no]debug>
471
472 Forces debug mode. (default: no debug info)
473
474 =item B<--[no]delete>
475
476 Delete a pre-existing package directory at start. (default: don't delete)
477
478 =item B<--directory> I<dir>
479
480 Change the name of the package directory (default: F<< exim-packaging-<version> >>)
481
482 =item B<--[no]help>
483
484 Display short help and exit cleanly. (default: don't do that)
485
486 =item B<--[no]lzip>
487
488 Control the creation of B<lzip> tarballs. (default: do not use lzip)
489
490 =item B<--make> I<cmd>
491
492 Force the use of a specific C<make> command. This may be necessary if C<make> is not
493 C<gmake> (default: C<make>)
494
495 =item B<--[no]man>
496
497 Display man page and exit cleanly. (default: don't do that)
498
499 =item B<--tar> I<cmd>
500
501 Use to override the path to the C<tar> command.  Need GNU tar in case
502 I<lzip> is selected. (default: C<gtar>, if not found, use C<tar>)
503
504 =item B<--[no]web>
505
506 Control the creation of the website. For creation of the website, the F<../exim-website>
507 directory must exist. (default: create the website)
508
509 =item B<--verbose>
510
511 Force verbose mode. (default: no verbosity)
512
513 =back
514
515 =head1 AUTHOR
516
517 Nigel Metheringham <Nigel.Metheringham@dev.intechnology.co.uk>,
518 some changes by Heiko Schlittermann <hs@schlittermann.de>
519
520 =head1 COPYRIGHT
521
522 Copyright 2010-2016 Exim Maintainers. All rights reserved.
523
524 =cut
525 # vim: set sw=4 et :