release-process/scripts/mk_exim_release.pl

   1 #!/usr/bin/env perl
   2
   3 use strict;
   4 use warnings;
   5 use Carp;
   6 use File::Copy;
   7 use File::Spec;
   8 use File::Path;
   9 use File::Temp;
  10 use FindBin;
  11 use Getopt::Long;
  12 use IO::File;
  13 use Pod::Usage;
  14
  15 my $debug   = 0;
  16 my $verbose = 0;
  17
  18 # ------------------------------------------------------------------
  19
  20 sub get_and_check_version {
  21     my $release = shift;
  22     my $context = shift;
  23
  24     # make sure this looks like a real release version
  25     # which should (currently) be 4.xx[.y] or 4.xx[.y]_RCx
  26     unless ( $release =~ /^(?<release>(?<major>4\.\d\d)(?:\.(?<minor>\d+))?(?:_RC\d+)?)$/ ) {
  27         croak "The given version number does not look right - $release";
  28     }
  29     $context->{release}  = $+{release};
  30     $context->{major} = $+{major};
  31     $context->{minor} = $+{minor};
  32
  33     ($context->{trelease} = $+{release}) =~ s/_RC\d+//;
  34 }
  35
  36 # ------------------------------------------------------------------
  37
  38 sub build_tag {
  39     my $context = shift;
  40
  41     # The CVS tag consists of exim-$version where $version
  42     # is the version number with . replaced with _
  43     my $modversion = $context->{release};
  44     $modversion =~ tr/0-9RC/_/cs;
  45
  46     return sprintf( 'exim-%s', $modversion );
  47 }
  48
  49 # ------------------------------------------------------------------
  50
  51 sub deal_with_working_directory {
  52     my $context = shift;
  53     my $delete  = shift;
  54
  55     # Set default directory
  56     $context->{directory} ||= File::Spec->rel2abs( sprintf( 'exim-packaging-%s', $context->{release} ) );
  57     my $directory = $context->{directory};
  58
  59     # ensure the working directory is not in place
  60     if ( -d $directory ) {
  61         if ($delete) {
  62             print "Deleting existing $directory\n" if ($verbose);
  63             rmtree( $directory, { verbose => $debug } );
  64         }
  65         if ( -d $directory ) {
  66             croak "Working directory $directory exists";
  67         }
  68     }
  69
  70     # create base directory
  71     mkpath( $context->{directory}, { verbose => ( $verbose || $debug ) } );
  72
  73     # set and create subdirectories
  74     foreach (qw(release_tree pkgs pkgdirs docbook tmp)) {
  75         $context->{$_} = File::Spec->catdir( $context->{directory}, $_ );
  76         mkpath( $context->{$_}, { verbose => ( $verbose || $debug ) } );
  77     }
  78 }
  79
  80 # ------------------------------------------------------------------
  81
  82 sub export_git_tree {
  83     my $context = shift;
  84
  85     # build git command
  86     my $archive_file = sprintf( '%s/%s-%s.tar', $context->{tmp}, $context->{pkgname}, $context->{release} );
  87     $context->{tmp_archive_file} = $archive_file;
  88     my @cmd = ( 'git', 'archive', '--format=tar', "--output=$archive_file", $context->{tag} );
  89     # run git command
  90     print( "Running: ", join( ' ', @cmd ), "\n" ) if ($verbose);
  91     system(@cmd) == 0 || croak "Export failed";
  92 }
  93
  94 # ------------------------------------------------------------------
  95
  96 sub unpack_tree {
  97     my $context = shift;
  98
  99     die "Cannot see archive file\n" unless ( -f $context->{tmp_archive_file} );
 100     my @cmd = ( 'tar', 'xf', $context->{tmp_archive_file}, '-C', $context->{release_tree} );
 101
 102     # run  command
 103     print( "Running: ", join( ' ', @cmd ), "\n" ) if ($verbose);
 104     system(@cmd) == 0 || croak "Unpack failed";
 105 }
 106
 107 # ------------------------------------------------------------------
 108
 109 sub make_version_script {
 110     my $context = shift;
 111
 112     my $variant = substr( $context->{release}, length($context->{trelease}) );
 113     if ( $context->{release} ne $context->{trelease} . $variant ) {
 114         die "Broken version numbering, I'm buggy";
 115     }
 116
 117     my $srcdir    = File::Spec->catdir( $context->{release_tree}, 'src', 'src' );
 118     chdir $srcdir or die "chdir $srcdir: $!\n";
 119
 120     if ( -f "version.sh" ) {
 121         print( "WARNING: version.sh already exists - leaving it in place\n" );
 122         return;
 123     }
 124
 125     # Currently (25. Feb. 2016) the mk_exim_release.pl up to now can't
 126     # deal with security releases.!? So we need a current
 127     # mk_exim_release.pl. But if we use a current (master), the
 128     # reversion script returns wrong version info (it's running inside
 129     # the Git tree and uses git --describe, which always returns the
 130     # current version of master.) I do not want to change the old
 131     # reversion scripts (in 4.86.1, 4.85.1).
 132     #
 133     # Thus we've to provide the version.sh, based on the info we have
 134     # about the release. If reversion finds this, it doesn't try to find
 135     # it's own way to get a valid version number from the git.
 136     open(my $v, '>', 'version.sh') or die "Can't open '>version.sh' $!\n";
 137     print {$v} <<__;
 138 # initial version automatically generated from $0
 139 EXIM_RELEASE_VERSION=$context->{major}
 140 EXIM_VARIANT_VERSION=@{[$context->{minor}?'_'.$context->{minor}:'']}
 141 EXIM_COMPILE_NUMBER=0
 142 __
 143     close($v);
 144     unlink 'version.h';
 145     return;
 146
 147     # Later, if we get the reversion script fixed, we can call it again.
 148     # For now (25. Feb. 2016) we'll leave it unused.
 149     my @cmd = ("../scripts/reversion", "release", $context->{tag});
 150     print( "Running: ", join( ' ', @cmd ), "\n" ) if ($verbose);
 151     system(@cmd) == 0 || croak "reversion failed";
 152
 153     unlink "version.h";
 154
 155     -f "version.sh" or die "failed to create version.sh";
 156 }
 157
 158 # ------------------------------------------------------------------
 159
 160 sub build_html_documentation {
 161     my $context = shift;
 162
 163     my $genpath   = $context->{webgen_base} . '/script/gen.pl';
 164     my $templates = $context->{webgen_base} . '/templates';
 165     my $dir       = File::Spec->catdir( $context->{release_tree}, 'html' );
 166     my $spec      = File::Spec->catfile( $context->{docbook}, 'spec.xml' );
 167     my $filter    = File::Spec->catfile( $context->{docbook}, 'filter.xml' );
 168
 169     mkdir($dir);
 170
 171     my @cmd = (
 172         $genpath,   '--spec',    $spec,                '--filter',
 173         $filter,    '--latest',  $context->{trelease}, '--tmpl',
 174         $templates, '--docroot', $dir,                 '--localstatic'
 175     );
 176     push @cmd, '--verbose' if $verbose or $debug;
 177
 178     print "Executing ", join( ' ', @cmd ), "\n";
 179     system(@cmd);
 180
 181     # move directory into right place
 182     my $sourcedir = File::Spec->catdir( $context->{docbook}, 'filter.xml' );
 183
 184     rename(
 185         File::Spec->catdir( $dir,                sprintf( 'exim-html-%s', $context->{trelease} ) ),
 186         File::Spec->catdir( $context->{pkgdirs}, sprintf( 'exim-html-%s', $context->{release} ) )
 187     );
 188 }
 189
 190 # ------------------------------------------------------------------
 191
 192 sub copy_docbook_files {
 193     my $context = shift;
 194
 195     # where the generated docbook files can be found
 196     my $docdir = File::Spec->catdir( $context->{release_tree}, 'doc', 'doc-docbook' );
 197
 198     # where the website docbook source dir is - push files to here
 199     my $webdir = File::Spec->catdir( $context->{webgen_base}, 'docbook', $context->{trelease} );
 200     mkpath( $webdir, { verbose => ( $verbose || $debug ) } );
 201
 202     foreach my $file ( 'spec.xml', 'filter.xml' ) {
 203         my $from  = File::Spec->catfile( $docdir,             $file );
 204         my $to    = File::Spec->catfile( $context->{docbook}, $file );
 205         my $webto = File::Spec->catfile( $webdir,             $file );
 206         copy( $from, $to );
 207         copy( $from, $webto );
 208     }
 209 }
 210
 211 # ------------------------------------------------------------------
 212
 213 sub build_documentation {
 214     my $context = shift;
 215
 216     my $docdir = File::Spec->catdir( $context->{release_tree}, 'doc', 'doc-docbook' );
 217     # documentation building gets the truncated release, without RC
 218     system("cd '$docdir' && ./OS-Fixups && $context->{make_cmd} EXIM_VER=$context->{trelease} everything") == 0
 219       || croak "Doc build failed";
 220
 221     copy_docbook_files($context);
 222     build_html_documentation($context);
 223 }
 224
 225 # ------------------------------------------------------------------
 226
 227 sub move_text_docs_into_pkg {
 228     my $context = shift;
 229
 230     my $old_docdir = File::Spec->catdir( $context->{release_tree}, 'doc', 'doc-docbook' );
 231     my $old_txtdir = File::Spec->catdir( $context->{release_tree}, 'doc', 'doc-txt' );
 232     my $new_docdir = File::Spec->catdir( $context->{eximpkgdir}, 'doc' );
 233     mkpath( $new_docdir, { verbose => ( $verbose || $debug ) } );
 234
 235     # move generated documents from docbook stuff
 236     foreach my $file (qw/exim.8 spec.txt filter.txt/) {
 237         move( File::Spec->catfile( $old_docdir, $file ), File::Spec->catfile( $new_docdir, $file ) );
 238     }
 239
 240     # move text documents across
 241     foreach my $file ( glob( File::Spec->catfile( $old_txtdir, '*' ) ) ) {
 242
 243         # skip a few we dont want
 244         my $fn = ( File::Spec->splitpath($file) )[2];
 245         next
 246           if ( ( $fn eq 'ABOUT' )
 247             || ( $fn eq 'ChangeLog.0' )
 248             || ( $fn eq 'test-harness.txt' )
 249             # Debian issue re licensing of RFCs
 250             || ( $fn =~ /^draft-ietf-.*/ )
 251             || ( $fn =~ /^rfc.*/ )
 252              );
 253         move( $file, File::Spec->catfile( $new_docdir, $fn ) );
 254     }
 255 }
 256
 257 # ------------------------------------------------------------------
 258
 259 sub build_pspdfinfo_directory {
 260     my $context = shift;
 261
 262     ##foreach my $format (qw/pdf postscript texinfo info/) {
 263     foreach my $format (qw/pdf postscript/) {
 264         my $target = File::Spec->catdir( $context->{pkgdirs}, sprintf( 'exim-%s-%s', $format, $context->{release} ), 'doc' );
 265         mkpath( $target, { verbose => ( $verbose || $debug ) } );
 266
 267         # move documents across
 268         foreach my $file (
 269             glob(
 270                 File::Spec->catfile(
 271                     $context->{release_tree},
 272                     'doc',
 273                     'doc-docbook',
 274                     (
 275                         ( $format eq 'postscript' )
 276                         ? '*.ps'
 277                         : ( '*.' . $format )
 278                     )
 279                 )
 280             )
 281           )
 282         {
 283             move( $file, File::Spec->catfile( $target, ( File::Spec->splitpath($file) )[2] ) );
 284         }
 285     }
 286 }
 287
 288 # ------------------------------------------------------------------
 289
 290 sub build_main_package_directory {
 291     my $context = shift;
 292
 293     # build the exim package directory path
 294     $context->{eximpkgdir} = File::Spec->catdir( $context->{pkgdirs}, sprintf( 'exim-%s', $context->{release} ) );
 295
 296     # initially we move the exim-src directory to the new directory name
 297     rename( File::Spec->catdir( $context->{release_tree}, 'src' ), $context->{eximpkgdir} )
 298       || croak "Rename of src dir failed - $!";
 299
 300     # add Local subdirectory
 301     mkpath( File::Spec->catdir( $context->{eximpkgdir}, 'Local' ), { verbose => ( $verbose || $debug ) } );
 302
 303     # now add the text docs
 304     move_text_docs_into_pkg($context);
 305 }
 306
 307 # ------------------------------------------------------------------
 308
 309 sub build_package_directories {
 310     my $context = shift;
 311
 312     build_main_package_directory($context);
 313     build_pspdfinfo_directory($context) if $context->{build_docs};
 314 }
 315
 316 # ------------------------------------------------------------------
 317
 318 sub do_cleanup {
 319     my $context = shift;
 320
 321     print "Cleaning up\n" if ($verbose);
 322     chdir( $context->{directory} ) || die;
 323     rmtree( $context->{release_tree}, { verbose => $debug } );
 324     rmtree( $context->{docbook},      { verbose => $debug } );
 325     rmtree( $context->{pkgdirs},      { verbose => $debug } );
 326 }
 327
 328 # ------------------------------------------------------------------
 329
 330 # We prefer gtar to tar if gtar exists in $PATH
 331
 332 sub fix_paths_tar {
 333     my $context = shift;
 334     my $tar = $context->{tar_cmd};
 335
 336     return unless $tar eq 'tar';
 337
 338     foreach my $d (File::Spec->path()) {
 339         my $p = File::Spec->catfile($d, 'gtar');
 340         if (-x $p) {
 341             $context->{tar_cmd} = $p;
 342             print "Switched tar command to: $p\n" if ($verbose);
 343             return;
 344         }
 345     }
 346 }
 347
 348 # ------------------------------------------------------------------
 349
 350 sub create_tar_files {
 351     my $context = shift;
 352
 353     my $pkgs    = $context->{pkgs};
 354     my $pkgdirs = $context->{pkgdirs};
 355     my $tar     = $context->{tar_cmd};
 356     if ($verbose) {
 357         foreach my $c (keys %{ $context->{compressors} }) {
 358             print "Compression: $c\t$context->{compressors}{$c}\n";
 359         }
 360     }
 361
 362     foreach my $dir ( glob( File::Spec->catdir( $pkgdirs, ( 'exim*-' . $context->{release} ) ) ) ) {
 363         my $dirname = ( File::Spec->splitdir($dir) )[-1];
 364         if ($context->{compressors}{gzip}) {
 365             print "Creating: ${pkgs}/${dirname}.tar.gz\n" if ($verbose || $debug);
 366             system("$tar cf  ${pkgs}/${dirname}.tar.gz  --gzip  -C ${pkgdirs} ${dirname}")
 367         }
 368         if ($context->{compressors}{bzip2}) {
 369             print "Creating: ${pkgs}/${dirname}.tar.bz2\n" if ($verbose || $debug);
 370             system("$tar cf  ${pkgs}/${dirname}.tar.bz2 --bzip2 -C ${pkgdirs} ${dirname}")
 371         }
 372         if ($context->{compressors}{lzip}) {
 373             print "Creating: ${pkgs}/${dirname}.tar.lz\n" if ($verbose || $debug);
 374             system("$tar cf  ${pkgs}/${dirname}.tar.lz  --lzip  -C ${pkgdirs} ${dirname}")
 375         }
 376     }
 377 }
 378
 379 # ------------------------------------------------------------------
 380 {
 381     my $man;
 382     my $help;
 383     my $context = {
 384         pkgname     => 'exim',
 385         orig_dir    => File::Spec->curdir(),
 386         tmp_dir     => File::Temp->newdir(),
 387         webgen_base => "$FindBin::Bin/../../../exim-website",
 388         tar_cmd     => 'tar',
 389         make_cmd    => 'make',
 390         compressors => {
 391                 gzip    => 1,
 392                 bzip2   => 1,
 393                 lzip    => 0,
 394         },
 395         build_docs   => 1,
 396     };
 397     my $delete;
 398     my $cleanup = 1;
 399     ##$ENV{'PATH'} = '/opt/local/bin:' . $ENV{'PATH'};
 400
 401     unless (
 402         GetOptions(
 403             'directory=s'   => \$context->{directory},
 404             'webgen_base=s' => \$context->{webgen_base},
 405             'tar=s'         => \$context->{tar_cmd},
 406             'make=s'        => \$context->{make_cmd},
 407             'lzip!'         => \$context->{compressors}{lzip},
 408             'verbose!'      => \$verbose,
 409             'debug!'        => \$debug,
 410             'help|?'        => \$help,
 411             'man!'          => \$man,
 412             'delete!'       => \$delete,
 413             'cleanup!'      => \$cleanup,
 414             'build-docs!'   => \$context->{build_docs},
 415         )
 416       )
 417     {
 418         pod2usage( -exitval => 1, -verbose => 0 );
 419     }
 420     pod2usage(0) if $help;
 421     pod2usage( -verbose => 2 ) if $man;
 422
 423     get_and_check_version( shift, $context );
 424     fix_paths_tar($context);
 425     $context->{tag} = build_tag($context);
 426     deal_with_working_directory( $context, $delete );
 427     export_git_tree($context);
 428     chdir( $context->{directory} ) || die;
 429     unpack_tree($context);
 430     make_version_script($context);
 431     build_documentation($context) if $context->{build_docs};
 432     build_package_directories($context);
 433     create_tar_files($context);
 434     do_cleanup($context) if ($cleanup);
 435 }
 436
 437 1;
 438
 439 __END__
 440
 441 =head1 NAME
 442
 443 mk_exim_release.pl - Build an exim release
 444
 445 =head1 SYNOPSIS
 446
 447 mk_exim_release.pl [options] version
 448
 449  Options:
 450    --debug             force debug mode
 451    --verbose           force verbose mode
 452    --help              display this help and exits
 453    --man               displays man page
 454    --tar=cmd           command to use for tar
 455    --make=cmd          command to use for make
 456    --directory=dir     dir to package
 457    --no-lzip           do not create .tar.lz files
 458    --delete            Delete packaging directory at start
 459    --noweb             skip the website generation
 460
 461 =head1 OPTIONS
 462
 463 =over 4
 464
 465 =item B<--debug>
 466
 467 Forces debug mode.
 468
 469 =item B<--tar>
 470
 471 Use to override the path to the tar command; without this, will search for
 472 gtar, and if not found use tar.  Need GNU tar for lzip, unless --no-lzip is
 473 used.
 474
 475 =item B<--make>
 476
 477 Use to override the path/name of the make command.
 478 Useful sometimes to force gmake.
 479
 480 =item B<--lzip>
 481
 482 Build the lzip tarballs.
 483
 484 =item B<--verbose>
 485
 486 Force verbose mode
 487
 488 =item B<--help>
 489
 490 Display help and exits
 491
 492 =item B<--man>
 493
 494 Display man page
 495
 496 =back
 497
 498 =head1 DESCRIPTION
 499
 500 Builds an exim release.
 501
 502 Starting in a populated git repo that has already been tagged for
 503 release, build docs, build packages etc.
 504
 505 Parameter is the version number to build as - ie 4.72 4.72RC1, 4.86.1, etc
 506
 507 =head1 AUTHOR
 508
 509 Nigel Metheringham <Nigel.Metheringham@dev.intechnology.co.uk>
 510
 511 =head1 COPYRIGHT
 512
 513 Copyright 2010 Exim Maintainers. All rights reserved.
 514
 515 =cut
 516 # vim: set sw=4 et :