release-process/scripts/mk_exim_release.pl

   1 #!/usr/bin/env perl
   2
   3 use strict;
   4 use warnings;
   5 use Carp;
   6 use File::Copy;
   7 use File::Spec;
   8 use File::Path;
   9 use File::Temp;
  10 use FindBin;
  11 use Getopt::Long;
  12 use IO::File;
  13 use Pod::Usage;
  14
  15 my $debug   = 0;
  16 my $verbose = 0;
  17
  18 # ------------------------------------------------------------------
  19
  20 sub get_and_check_version {
  21     my $release = shift;
  22     my $context = shift;
  23
  24     # make sure this looks like a real release version
  25     # which should (currently) be 4.xx or 4.xx_RCx
  26     unless ( $release =~ /^(4\.\d\d(?:_RC\d+)?)$/ ) {
  27         croak "The given version number does not look right - $release";
  28     }
  29     my $full_release  = $1;              # untainted here...
  30     my $trunc_release = $full_release;
  31     $trunc_release =~ s/^(4\.\d\d)(?:_RC\d+)?$/$1/;
  32
  33     $context->{release}  = $full_release;
  34     $context->{trelease} = $trunc_release;
  35 }
  36
  37 # ------------------------------------------------------------------
  38
  39 sub build_tag {
  40     my $context = shift;
  41
  42     # The CVS tag consists of exim-$version where $version
  43     # is the version number with . replaced with _
  44     my $modversion = $context->{release};
  45     $modversion =~ tr/0-9RC/_/cs;
  46
  47     return sprintf( 'exim-%s', $modversion );
  48 }
  49
  50 # ------------------------------------------------------------------
  51
  52 sub deal_with_working_directory {
  53     my $context = shift;
  54     my $delete  = shift;
  55
  56     # Set default directory
  57     $context->{directory} ||= File::Spec->rel2abs( sprintf( 'exim-packaging-%s', $context->{release} ) );
  58     my $directory = $context->{directory};
  59
  60     # ensure the working directory is not in place
  61     if ( -d $directory ) {
  62         if ($delete) {
  63             print "Deleting existing $directory\n" if ($verbose);
  64             rmtree( $directory, { verbose => $debug } );
  65         }
  66         if ( -d $directory ) {
  67             croak "Working directory $directory exists";
  68         }
  69     }
  70
  71     # create base directory
  72     mkpath( $context->{directory}, { verbose => ( $verbose || $debug ) } );
  73
  74     # set and create subdirectories
  75     foreach (qw(release_tree pkgs pkgdirs docbook tmp)) {
  76         $context->{$_} = File::Spec->catdir( $context->{directory}, $_ );
  77         mkpath( $context->{$_}, { verbose => ( $verbose || $debug ) } );
  78     }
  79 }
  80
  81 # ------------------------------------------------------------------
  82
  83 sub export_git_tree {
  84     my $context = shift;
  85
  86     # build git command
  87     my $archive_file = sprintf( '%s/%s-%s.tar', $context->{tmp}, $context->{pkgname}, $context->{release} );
  88     $context->{tmp_archive_file} = $archive_file;
  89     my @cmd = ( 'git', 'archive', '--format=tar', "--output=$archive_file", $context->{tag} );
  90
  91     # run git command
  92     print( "Running: ", join( ' ', @cmd ), "\n" ) if ($verbose);
  93     system(@cmd) == 0 || croak "Export failed";
  94 }
  95
  96 # ------------------------------------------------------------------
  97
  98 sub unpack_tree {
  99     my $context = shift;
 100
 101     die "Cannot see archive file\n" unless ( -f $context->{tmp_archive_file} );
 102     my @cmd = ( 'tar', 'xf', $context->{tmp_archive_file}, '-C', $context->{release_tree} );
 103
 104     # run  command
 105     print( "Running: ", join( ' ', @cmd ), "\n" ) if ($verbose);
 106     system(@cmd) == 0 || croak "Unpack failed";
 107 }
 108
 109 # ------------------------------------------------------------------
 110
 111 sub make_version_script {
 112     my $context = shift;
 113
 114     my $variant = substr( $context->{release}, length($context->{trelease}) );
 115     if ( $context->{release} ne $context->{trelease} . $variant ) {
 116         die "Broken version numbering, I'm buggy";
 117     }
 118
 119     my $srcdir    = File::Spec->catdir( $context->{release_tree}, 'src', 'src' );
 120     chdir $srcdir or die "chdir $srcdir: $!\n";
 121
 122     if ( -f "version.sh" ) {
 123         print( "WARNING: version.sh already exists - leaving it in place\n" );
 124         return;
 125     }
 126
 127     my @cmd = ("../scripts/reversion", "release");
 128     print( "Running: ", join( ' ', @cmd ), "\n" ) if ($verbose);
 129     system(@cmd) == 0 || croak "reversion failed";
 130
 131     unlink "version.h";
 132
 133     -f "version.sh" or die "failed to create version.h";
 134 }
 135
 136 # ------------------------------------------------------------------
 137
 138 sub build_html_documentation {
 139     my $context = shift;
 140
 141     my $genpath   = $context->{webgen_base} . '/script/gen.pl';
 142     my $templates = $context->{webgen_base} . '/templates';
 143     my $dir       = File::Spec->catdir( $context->{release_tree}, 'html' );
 144     my $spec      = File::Spec->catfile( $context->{docbook}, 'spec.xml' );
 145     my $filter    = File::Spec->catfile( $context->{docbook}, 'filter.xml' );
 146
 147     mkdir($dir);
 148
 149     my @cmd = (
 150         $genpath,   '--spec',    $spec,                '--filter',
 151         $filter,    '--latest',  $context->{trelease}, '--tmpl',
 152         $templates, '--docroot', $dir,                 '--localstatic'
 153     );
 154     push @cmd, '--verbose' if $verbose or $debug;
 155
 156     print "Executing ", join( ' ', @cmd ), "\n";
 157     system(@cmd);
 158
 159     # move directory into right place
 160     my $sourcedir = File::Spec->catdir( $context->{docbook}, 'filter.xml' );
 161
 162     rename(
 163         File::Spec->catdir( $dir,                sprintf( 'exim-html-%s', $context->{trelease} ) ),
 164         File::Spec->catdir( $context->{pkgdirs}, sprintf( 'exim-html-%s', $context->{release} ) )
 165     );
 166 }
 167
 168 # ------------------------------------------------------------------
 169
 170 sub copy_docbook_files {
 171     my $context = shift;
 172
 173     # where the generated docbook files can be found
 174     my $docdir = File::Spec->catdir( $context->{release_tree}, 'doc', 'doc-docbook' );
 175
 176     # where the website docbook source dir is - push files to here
 177     my $webdir = File::Spec->catdir( $context->{webgen_base}, 'docbook', $context->{trelease} );
 178     mkpath( $webdir, { verbose => ( $verbose || $debug ) } );
 179
 180     foreach my $file ( 'spec.xml', 'filter.xml' ) {
 181         my $from  = File::Spec->catfile( $docdir,             $file );
 182         my $to    = File::Spec->catfile( $context->{docbook}, $file );
 183         my $webto = File::Spec->catfile( $webdir,             $file );
 184         copy( $from, $to );
 185         copy( $from, $webto );
 186     }
 187 }
 188
 189 # ------------------------------------------------------------------
 190
 191 sub build_documentation {
 192     my $context = shift;
 193
 194     my $docdir = File::Spec->catdir( $context->{release_tree}, 'doc', 'doc-docbook' );
 195     # documentation building gets the truncated release, without RC
 196     system("cd '$docdir' && ./OS-Fixups && $context->{make_cmd} EXIM_VER=$context->{trelease} everything") == 0
 197       || croak "Doc build failed";
 198
 199     copy_docbook_files($context);
 200     build_html_documentation($context);
 201 }
 202
 203 # ------------------------------------------------------------------
 204
 205 sub move_text_docs_into_pkg {
 206     my $context = shift;
 207
 208     my $old_docdir = File::Spec->catdir( $context->{release_tree}, 'doc', 'doc-docbook' );
 209     my $old_txtdir = File::Spec->catdir( $context->{release_tree}, 'doc', 'doc-txt' );
 210     my $new_docdir = File::Spec->catdir( $context->{eximpkgdir}, 'doc' );
 211     mkpath( $new_docdir, { verbose => ( $verbose || $debug ) } );
 212
 213     # move generated documents from docbook stuff
 214     foreach my $file (qw/exim.8 spec.txt filter.txt/) {
 215         move( File::Spec->catfile( $old_docdir, $file ), File::Spec->catfile( $new_docdir, $file ) );
 216     }
 217
 218     # move text documents across
 219     foreach my $file ( glob( File::Spec->catfile( $old_txtdir, '*' ) ) ) {
 220
 221         # skip a few we dont want
 222         my $fn = ( File::Spec->splitpath($file) )[2];
 223         next
 224           if ( ( $fn eq 'ABOUT' )
 225             || ( $fn eq 'ChangeLog.0' )
 226             || ( $fn eq 'test-harness.txt' )
 227             # Debian issue re licensing of RFCs
 228             || ( $fn =~ /^draft-ietf-.*/ )
 229             || ( $fn =~ /^rfc.*/ )
 230              );
 231         move( $file, File::Spec->catfile( $new_docdir, $fn ) );
 232     }
 233 }
 234
 235 # ------------------------------------------------------------------
 236
 237 sub build_pspdfinfo_directory {
 238     my $context = shift;
 239
 240     ##foreach my $format (qw/pdf postscript texinfo info/) {
 241     foreach my $format (qw/pdf postscript/) {
 242         my $target = File::Spec->catdir( $context->{pkgdirs}, sprintf( 'exim-%s-%s', $format, $context->{release} ), 'doc' );
 243         mkpath( $target, { verbose => ( $verbose || $debug ) } );
 244
 245         # move documents across
 246         foreach my $file (
 247             glob(
 248                 File::Spec->catfile(
 249                     $context->{release_tree},
 250                     'doc',
 251                     'doc-docbook',
 252                     (
 253                         ( $format eq 'postscript' )
 254                         ? '*.ps'
 255                         : ( '*.' . $format )
 256                     )
 257                 )
 258             )
 259           )
 260         {
 261             move( $file, File::Spec->catfile( $target, ( File::Spec->splitpath($file) )[2] ) );
 262         }
 263     }
 264 }
 265
 266 # ------------------------------------------------------------------
 267
 268 sub build_main_package_directory {
 269     my $context = shift;
 270
 271     # build the exim package directory path
 272     $context->{eximpkgdir} = File::Spec->catdir( $context->{pkgdirs}, sprintf( 'exim-%s', $context->{release} ) );
 273
 274     # initially we move the exim-src directory to the new directory name
 275     rename( File::Spec->catdir( $context->{release_tree}, 'src' ), $context->{eximpkgdir} )
 276       || croak "Rename of src dir failed - $!";
 277
 278     # add Local subdirectory
 279     mkpath( File::Spec->catdir( $context->{eximpkgdir}, 'Local' ), { verbose => ( $verbose || $debug ) } );
 280
 281     # now add the text docs
 282     move_text_docs_into_pkg($context);
 283 }
 284
 285 # ------------------------------------------------------------------
 286
 287 sub build_package_directories {
 288     my $context = shift;
 289
 290     build_main_package_directory($context);
 291     build_pspdfinfo_directory($context);
 292 }
 293
 294 # ------------------------------------------------------------------
 295
 296 sub do_cleanup {
 297     my $context = shift;
 298
 299     print "Cleaning up\n" if ($verbose);
 300     chdir( $context->{directory} ) || die;
 301     rmtree( $context->{release_tree}, { verbose => $debug } );
 302     rmtree( $context->{docbook},      { verbose => $debug } );
 303     rmtree( $context->{pkgdirs},      { verbose => $debug } );
 304 }
 305
 306 # ------------------------------------------------------------------
 307
 308 # We prefer gtar to tar if gtar exists in $PATH
 309
 310 sub fix_paths_tar {
 311     my $context = shift;
 312     my $tar = $context->{tar_cmd};
 313
 314     return unless $tar eq 'tar';
 315
 316     foreach my $d (File::Spec->path()) {
 317         my $p = File::Spec->catfile($d, 'gtar');
 318         if (-x $p) {
 319             $context->{tar_cmd} = $p;
 320             print "Switched tar command to: $p\n" if ($verbose);
 321             return;
 322         }
 323     }
 324 }
 325
 326 # ------------------------------------------------------------------
 327
 328 sub create_tar_files {
 329     my $context = shift;
 330
 331     my $pkgs    = $context->{pkgs};
 332     my $pkgdirs = $context->{pkgdirs};
 333     my $tar     = $context->{tar_cmd};
 334     if ($verbose) {
 335         foreach my $c (keys %{ $context->{compressors} }) {
 336             print "Compression: $c\t$context->{compressors}{$c}\n";
 337         }
 338     }
 339
 340     foreach my $dir ( glob( File::Spec->catdir( $pkgdirs, ( 'exim*-' . $context->{release} ) ) ) ) {
 341         my $dirname = ( File::Spec->splitdir($dir) )[-1];
 342         if ($context->{compressors}{gzip}) {
 343             print "Creating: ${pkgs}/${dirname}.tar.gz\n" if ($verbose || $debug);
 344             system("$tar cf  ${pkgs}/${dirname}.tar.gz  --gzip  -C ${pkgdirs} ${dirname}")
 345         }
 346         if ($context->{compressors}{bzip2}) {
 347             print "Creating: ${pkgs}/${dirname}.tar.bz2\n" if ($verbose || $debug);
 348             system("$tar cf  ${pkgs}/${dirname}.tar.bz2 --bzip2 -C ${pkgdirs} ${dirname}")
 349         }
 350         if ($context->{compressors}{lzip}) {
 351             print "Creating: ${pkgs}/${dirname}.tar.lz\n" if ($verbose || $debug);
 352             system("$tar cf  ${pkgs}/${dirname}.tar.lz  --lzip  -C ${pkgdirs} ${dirname}")
 353         }
 354     }
 355 }
 356
 357 # ------------------------------------------------------------------
 358 {
 359     my $man;
 360     my $help;
 361     my $context = {
 362         pkgname     => 'exim',
 363         orig_dir    => File::Spec->curdir(),
 364         tmp_dir     => File::Temp->newdir(),
 365         webgen_base => "$FindBin::Bin/../../../exim-website",
 366         tar_cmd     => 'tar',
 367         make_cmd    => 'make',
 368         compressors => {
 369                 gzip    => 1,
 370                 bzip2   => 1,
 371                 lzip    => 0,
 372         },
 373     };
 374     my $delete;
 375     my $cleanup = 1;
 376     ##$ENV{'PATH'} = '/opt/local/bin:' . $ENV{'PATH'};
 377
 378     unless (
 379         GetOptions(
 380             'directory=s'   => \$context->{directory},
 381             'webgen_base=s' => \$context->{webgen_base},
 382             'tar=s'         => \$context->{tar_cmd},
 383             'make=s'        => \$context->{make_cmd},
 384             'lzip!'         => \$context->{compressors}{lzip},
 385             'verbose!'      => \$verbose,
 386             'debug!'        => \$debug,
 387             'help|?'        => \$help,
 388             'man!'          => \$man,
 389             'delete!'       => \$delete,
 390             'cleanup!'      => \$cleanup,
 391         )
 392       )
 393     {
 394         pod2usage( -exitval => 1, -verbose => 0 );
 395     }
 396     pod2usage(0) if $help;
 397     pod2usage( -verbose => 2 ) if $man;
 398
 399     get_and_check_version( shift, $context );
 400     fix_paths_tar($context);
 401     $context->{tag} = build_tag($context);
 402     deal_with_working_directory( $context, $delete );
 403     export_git_tree($context);
 404     chdir( $context->{directory} ) || die;
 405     unpack_tree($context);
 406     make_version_script($context);
 407     build_documentation($context);
 408     build_package_directories($context);
 409     create_tar_files($context);
 410     do_cleanup($context) if ($cleanup);
 411 }
 412
 413 1;
 414
 415 __END__
 416
 417 =head1 NAME
 418
 419 mk_exim_release.pl - Build an exim release
 420
 421 =head1 SYNOPSIS
 422
 423 mk_exim_release.pl [options] version
 424
 425  Options:
 426    --debug             force debug mode (SQL Trace)
 427    --verbose           force verbose mode
 428    --help              display this help and exits
 429    --man               displays man page
 430    --tar=cmd           command to use for tar
 431    --make=cmd          command to use for make
 432    --directory=dir     dir to package
 433    --no-lzip           do not create .tar.lz files
 434    --delete            Delete packaging directory at start
 435
 436 =head1 OPTIONS
 437
 438 =over 4
 439
 440 =item B<--debug>
 441
 442 Forces debug mode cause all SQL statements generated by L<DBIx::Class>
 443 to be output.
 444
 445 =item B<--tar>
 446
 447 Use to override the path to the tar command; without this, will search for
 448 gtar, and if not found use tar.  Need GNU tar for lzip, unless --no-lzip is
 449 used.
 450
 451 =item B<--make>
 452
 453 Use to override the path/name of the make command.
 454 Useful sometimes to force gmake.
 455
 456 =item B<--lzip>
 457
 458 Build the lzip tarballs.
 459
 460 =item B<--verbose>
 461
 462 Force verbose mode
 463
 464 =item B<--help>
 465
 466 Display help and exits
 467
 468 =item B<--man>
 469
 470 Display man page
 471
 472 =back
 473
 474 =head1 DESCRIPTION
 475
 476 Builds an exim release.
 477
 478 Starting in a populated git repo that has already been tagged for
 479 release, build docs, build packages etc.
 480
 481 Parameter is the version number to build as - ie 4.72 4.72RC1 etc
 482
 483 =head1 AUTHOR
 484
 485 Nigel Metheringham <Nigel.Metheringham@dev.intechnology.co.uk>
 486
 487 =head1 COPYRIGHT
 488
 489 Copyright 2010 Exim Maintainers. All rights reserved.
 490
 491 =cut
 492 # vim: set sw=4 et :