git://git.exim.org / buildfarm-server.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | tree
raw | inline | side by side
add support for Storable frozen config and git head ref
[buildfarm-server.git] / trunk / cgi-bin / pgstatus.pl
diff --git a/trunk/cgi-bin/pgstatus.pl b/trunk/cgi-bin/pgstatus.pl
index da6c0692d06027c378ee4bef902ccc853c869f2c..7d2f7872dbf88e6aebc6ea2b74b57d6efa562cbe 100755 (executable)
--- a/trunk/cgi-bin/pgstatus.pl
+++ b/trunk/cgi-bin/pgstatus.pl
@@ -21,8 +21,10 @@ use Data::Dumper;
 use Mail::Send;
 use Safe;
 use Time::ParseDate;
 use Mail::Send;
 use Safe;
 use Time::ParseDate;
+use Storable qw(thaw);
 
 require "$ENV{BFConfDir}/BuildFarmWeb.pl";
 
 require "$ENV{BFConfDir}/BuildFarmWeb.pl";
+my $buildlogs = "$ENV{BFConfDir}/buildlogs";
 
 die "no dbname" unless $dbname;
 die "no dbuser" unless $dbuser;
 
 die "no dbname" unless $dbname;
 die "no dbuser" unless $dbuser;
@@ -46,6 +48,7 @@ my $branch = $query->param('branch');
 my $changed_since_success = $query->param('changed_since_success');
 my $changed_this_run = $query->param('changed_files');
 my $log_archive = $query->param('logtar');
 my $changed_since_success = $query->param('changed_since_success');
 my $changed_this_run = $query->param('changed_files');
 my $log_archive = $query->param('logtar');
+my $frozen_sconf = $query->param('frozen_sconf') || '';
 
 my $content = 
        "branch=$branch&res=$res&stage=$stage&animal=$animal&".
 
 my $content = 
        "branch=$branch&res=$res&stage=$stage&animal=$animal&".
@@ -94,12 +97,13 @@ my $date=
 
 if ($ENV{BF_DEBUG} || ($ts > time) || ($ts + 86400 < time ) || (! $secret) )
 {
 
 if ($ENV{BF_DEBUG} || ($ts > time) || ($ts + 86400 < time ) || (! $secret) )
 {
-    open(TX,">../buildlogs/$animal.$date");
+    open(TX,">$buildlogs/$animal.$date");
     print TX "sig=$sig\nlogtar-len=" , length($log_archive),
         "\nstatus=$res\nstage=$stage\nconf:\n$conf\n",
         "tsdiff:$tsdiff\n",
        "changed_this_run:\n$changed_this_run\n",
        "changed_since_success:\n$changed_since_success\n",
     print TX "sig=$sig\nlogtar-len=" , length($log_archive),
         "\nstatus=$res\nstage=$stage\nconf:\n$conf\n",
         "tsdiff:$tsdiff\n",
        "changed_this_run:\n$changed_this_run\n",
        "changed_since_success:\n$changed_since_success\n",
+        "frozen_sconf:$frozen_sconf\n",
        "log:\n",$log;
 #    $query->save(\*TX);
     close(TX);
        "log:\n",$log;
 #    $query->save(\*TX);
     close(TX);
@@ -150,8 +154,7 @@ if ($calc_sig ne $sig && $calc_sig2 ne $sig)
 
 # undo escape-proofing of base64 data and decode it
 map {tr/$@/+=/; $_ = decode_base64($_); } 
 
 # undo escape-proofing of base64 data and decode it
 map {tr/$@/+=/; $_ = decode_base64($_); } 
-    ($log, $conf,$changed_this_run,$changed_since_success,$log_archive);
-
+    ($log, $conf,$changed_this_run,$changed_since_success,$log_archive, $frozen_sconf);
 
 if ($log =~/Last file mtime in snapshot: (.*)/)
 {
 
 if ($log =~/Last file mtime in snapshot: (.*)/)
 {
@@ -172,12 +175,14 @@ my $dbdate=
 
 my $log_file_names;
 my @log_file_names;
 
 my $log_file_names;
 my @log_file_names;
-my $dirname = "../buildlogs/tmp.$$.unpacklogs";
+my $dirname = "$buildlogs/tmp.$$.unpacklogs";
+
+my $githeadref;
 
 if ($log_archive)
 {
     my $log_handle;
 
 if ($log_archive)
 {
     my $log_handle;
-    my $archname = "../buildlogs/tmp.$$.tgz";
+    my $archname = "$buildlogs/tmp.$$.tgz";
     open($log_handle,">$archname");
     binmode $log_handle;
     print $log_handle $log_archive;
     open($log_handle,">$archname");
     binmode $log_handle;
     print $log_handle $log_archive;
@@ -185,20 +190,35 @@ if ($log_archive)
     mkdir $dirname;
     @log_file_names = `tar -z -C $dirname -xvf $archname 2>/dev/null`;
     map {s/\s+//g; } @log_file_names;
     mkdir $dirname;
     @log_file_names = `tar -z -C $dirname -xvf $archname 2>/dev/null`;
     map {s/\s+//g; } @log_file_names;
-    my @qnames = @log_file_names;
+    my @qnames = grep { $_ ne 'githead.log' } @log_file_names;
     map { $_ = qq("$_"); } @qnames;
     $log_file_names = '{' . join(',',@qnames) . '}';
     map { $_ = qq("$_"); } @qnames;
     $log_file_names = '{' . join(',',@qnames) . '}';
+    if (-e "$dirname/githead.log" )
+    {
+       open(my $githead,"$dirname/githead.log");
+       $githeadref = <$githead>;
+       chomp $githeadref;
+       close $githead;
+    }
     # unlink $archname;
 }
 
 my $config_flags;
     # unlink $archname;
 }
 
 my $config_flags;
-my $container = new Safe;
-my $sconf = $conf; 
-unless ($sconf =~ s/.*(\$Script_Config)/$1/ms )
+my $client_conf;
+if ($frozen_sconf)
 {
 {
-    $sconf = '$Script_Config={};';
+    $client_conf = thaw $frozen_sconf;
+}
+else
+{
+    my $container = new Safe;
+    my $sconf = $conf; 
+    unless ($sconf =~ s/.*(\$Script_Config)/$1/ms )
+    {
+       $sconf = '$Script_Config={};';
+    }
+    $client_conf = $container->reval("$sconf;");
 }
 }
-my $client_conf = $container->reval("$sconf;");
 
 if ($min_script_version)
 {
 
 if ($min_script_version)
 {
@@ -265,8 +285,9 @@ my $logst = <<EOSQL;
     insert into build_status 
       (sysname, snapshot,status, stage, log,conf_sum, branch,
        changed_this_run, changed_since_success, 
     insert into build_status 
       (sysname, snapshot,status, stage, log,conf_sum, branch,
        changed_this_run, changed_since_success, 
-       log_archive_filenames , log_archive, build_flags, scm, scmurl)
-    values(?,?,?,?,?,?,?,?,?,?,?,?,?,?)
+       log_archive_filenames , log_archive, build_flags, scm, scmurl, 
+       git_head_ref,frozen_conf)
+    values(?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)
 EOSQL
 ;
 $sth=$db->prepare($logst);
 EOSQL
 ;
 $sth=$db->prepare($logst);
@@ -286,6 +307,8 @@ $sth->bind_param(11,undef,{ pg_type => DBD::Pg::PG_BYTEA });
 $sth->bind_param(12,$config_flags);
 $sth->bind_param(13,$scm);
 $sth->bind_param(14,$scmurl);
 $sth->bind_param(12,$config_flags);
 $sth->bind_param(13,$scm);
 $sth->bind_param(14,$scmurl);
+$sth->bind_param(15,$githeadref);
+$sth->bind_param(16,$frozen_sconf,{ pg_type => DBD::Pg::PG_BYTEA });
 
 $sth->execute;
 $sth->finish;
 
 $sth->execute;
 $sth->finish;
@@ -307,16 +330,17 @@ my $stage_start = $ts;
 
 foreach my $log_file( @log_file_names )
 {
 
 foreach my $log_file( @log_file_names )
 {
-  my $handle;
-  open($handle,"$dirname/$log_file");
-  my $mtime = (stat $handle)[9];
-  my $stage_interval = $mtime - $stage_start;
-  $stage_start = $mtime;
-  my $ltext = <$handle>;
-  close($handle);
-  $ltext =~ s/\x00/\\0/g;
-  $sth->execute($animal,$dbdate,$branch,$log_file,$ltext, 
-               "$stage_interval seconds");
+    next if $log_file =~ /^githead/;
+    my $handle;
+    open($handle,"$dirname/$log_file");
+    my $mtime = (stat $handle)[9];
+    my $stage_interval = $mtime - $stage_start;
+    $stage_start = $mtime;
+    my $ltext = <$handle>;
+    close($handle);
+    $ltext =~ s/\x00/\\0/g;
+    $sth->execute($animal,$dbdate,$branch,$log_file,$ltext, 
+                 "$stage_interval seconds");
 }
 
 
 }
 
 
@@ -356,6 +380,8 @@ my ($os, $compiler,$arch) = @$row;
 $sth->finish;
 
 $db->begin_work;
 $sth->finish;
 
 $db->begin_work;
+# prevent occasional duplication by forcing serialization of this operation
+$db->do("lock table dashboard_mat in share row exclusive mode");
 $db->do("delete from dashboard_mat");
 $db->do("insert into dashboard_mat select * from dashboard_mat_data");
 $db->commit;
 $db->do("delete from dashboard_mat");
 $db->do("insert into dashboard_mat select * from dashboard_mat_data");
 $db->commit;
@@ -371,7 +397,7 @@ my $client_events = $client_conf->{mail_events};
 if ($ENV{BF_DEBUG})
 {
        my $client_time = $client_conf->{current_ts};
 if ($ENV{BF_DEBUG})
 {
        my $client_time = $client_conf->{current_ts};
-    open(TX,">>../buildlogs/$animal.$date");
+    open(TX,">>$buildlogs/$animal.$date");
     print TX "\n",Dumper(\$client_conf),"\n";
        print TX "server time: $server_time, client time: $client_time\n" if $client_time;
     close(TX);
     print TX "\n",Dumper(\$client_conf),"\n";
        print TX "server time: $server_time, client time: $client_time\n" if $client_time;
     close(TX);
@@ -449,7 +475,6 @@ $msg->to(@$mailto);
 $msg->bcc(@$bcc_stat) if (@$bcc_stat);
 $msg->subject("PGBuildfarm member $animal Branch $branch $stat_type $stage");
 $msg->set('From',$from_addr);
 $msg->bcc(@$bcc_stat) if (@$bcc_stat);
 $msg->subject("PGBuildfarm member $animal Branch $branch $stat_type $stage");
 $msg->set('From',$from_addr);
-{ my $handle; open($handle,">>/tmp/mailobj"); print $handle scalar(localtime),Dumper($msg); close($handle); }
 my $fh = $msg->open;
 print $fh <<EOMAIL; 
 
 my $fh = $msg->open;
 print $fh <<EOMAIL; 
 
@@ -489,7 +514,6 @@ $stat_type .= " failure" if $stage ne 'OK';
 
 $msg->subject("PGBuildfarm member $animal Branch $branch Status $stat_type");
 $msg->set('From',$from_addr);
 
 $msg->subject("PGBuildfarm member $animal Branch $branch Status $stat_type");
 $msg->set('From',$from_addr);
-{ my $handle; open($handle,">>/tmp/mailobj"); print $handle scalar(localtime),Dumper($msg); close($handle); }
 $fh = $msg->open;
 print $fh <<EOMAIL;
 
 $fh = $msg->open;
 print $fh <<EOMAIL;
 
Server side for Exim Build Farm