remove debugging code accidentally committed
[buildfarm-server.git] / trunk / cgi-bin / pgstatus.pl
1 #!/usr/bin/perl
2
3 use strict;
4
5 use vars qw($dbhost $dbname $dbuser $dbpass $dbport
6        $all_stat $fail_stat $change_stat $green_stat
7        $server_time
8            $min_script_version $min_web_script_version
9        $default_host
10 );
11
12 # force this before we do anything - even load modules
13 BEGIN { $server_time = time; }
14
15 use CGI;
16 use Digest::SHA1  qw(sha1_hex);
17 use MIME::Base64;
18 use DBI;
19 use DBD::Pg;
20 use Data::Dumper;
21 use Mail::Send;
22 use Safe;
23 use Time::ParseDate;
24
25 require "$ENV{BFConfDir}/BuildFarmWeb.pl";
26
27 die "no dbname" unless $dbname;
28 die "no dbuser" unless $dbuser;
29
30 my $dsn="dbi:Pg:dbname=$dbname";
31 $dsn .= ";host=$dbhost" if $dbhost;
32 $dsn .= ";port=$dbport" if $dbport;
33
34 my $query = new CGI;
35
36 my $sig = $query->path_info;
37 $sig =~ s!^/!!;
38
39 my $stage = $query->param('stage');
40 my $ts = $query->param('ts');
41 my $animal = $query->param('animal');
42 my $log = $query->param('log');
43 my $res = $query->param('res');
44 my $conf = $query->param('conf');
45 my $branch = $query->param('branch');
46 my $changed_since_success = $query->param('changed_since_success');
47 my $changed_this_run = $query->param('changed_files');
48 my $log_archive = $query->param('logtar');
49
50 my $content = 
51         "branch=$branch&res=$res&stage=$stage&animal=$animal&".
52         "ts=$ts&log=$log&conf=$conf";
53
54 my $extra_content = 
55         "changed_files=$changed_this_run&".
56         "changed_since_success=$changed_since_success&";
57
58 unless ($animal && $ts && $stage && $sig)
59 {
60         print 
61             "Status: 490 bad parameters\nContent-Type: text/plain\n\n",
62             "bad parameters for request\n";
63         exit;
64         
65 }
66
67 unless ($branch =~ /^(HEAD|REL\d+_\d+_STABLE)$/)
68 {
69         print
70             "Status: 492 bad branch parameter $branch\nContent-Type: text/plain\n\n",
71             "bad branch parameter $branch\n";
72         exit;
73
74 }
75
76
77 my $db = DBI->connect($dsn,$dbuser,$dbpass);
78
79 die $DBI::errstr unless $db;
80
81 my $gethost=
82     "select secret from buildsystems where name = ? and status = 'approved'";
83 my $sth = $db->prepare($gethost);
84 $sth->execute($animal);
85 my ($secret)=$sth->fetchrow_array();
86 $sth->finish;
87
88 my $tsdiff = time - $ts;
89
90 my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime($ts);
91 $year += 1900; $mon +=1;
92 my $date=
93     sprintf("%d-%.2d-%.2d_%.2d:%.2d:%.2d",$year,$mon,$mday,$hour,$min,$sec);
94
95 if ($ENV{BF_DEBUG} || ($ts > time) || ($ts + 86400 < time ) || (! $secret) )
96 {
97     open(TX,">../buildlogs/$animal.$date");
98     print TX "sig=$sig\nlogtar-len=" , length($log_archive),
99         "\nstatus=$res\nstage=$stage\nconf:\n$conf\n",
100         "tsdiff:$tsdiff\n",
101         "changed_this_run:\n$changed_this_run\n",
102         "changed_since_success:\n$changed_since_success\n",
103         "log:\n",$log;
104 #    $query->save(\*TX);
105     close(TX);
106 }
107
108 unless ($ts < time + 120)
109 {
110     my $gmt = gmtime($ts);
111     print "Status: 491 bad ts parameter - $ts ($gmt GMT) is in the future.\n",
112     "Content-Type: text/plain\n\n bad ts parameter - $ts ($gmt GMT) is in the future\n";
113         $db->disconnect;
114     exit;
115 }
116
117 unless ($ts + 86400 > time)
118 {
119     my $gmt = gmtime($ts);
120     print "Status: 491 bad ts parameter - $ts ($gmt GMT) is more than 24 hours ago.\n",
121      "Content-Type: text/plain\n\n bad ts parameter - $ts ($gmt GMT) is more than 24 hours ago.\n";
122     $db->disconnect;
123     exit;
124 }
125
126 unless ($secret)
127 {
128         print 
129             "Status: 495 Unknown System\nContent-Type: text/plain\n\n",
130             "System $animal is unknown\n";
131         $db->disconnect;
132         exit;
133         
134 }
135
136
137
138
139 my $calc_sig = sha1_hex($content,$secret);
140 my $calc_sig2 = sha1_hex($extra_content,$content,$secret);
141
142 if ($calc_sig ne $sig && $calc_sig2 ne $sig)
143 {
144
145         print "Status: 450 sig mismatch\nContent-Type: text/plain\n\n";
146         print "$sig mismatches $calc_sig($calc_sig2) on content:\n$content";
147         $db->disconnect;
148         exit;
149 }
150
151 # undo escape-proofing of base64 data and decode it
152 map {tr/$@/+=/; $_ = decode_base64($_); } 
153     ($log, $conf,$changed_this_run,$changed_since_success,$log_archive);
154
155
156 if ($log =~/Last file mtime in snapshot: (.*)/)
157 {
158     my $snaptime = parsedate($1);
159     if ($snaptime < (time - (10 * 86400)))
160     {
161         print "Status: 493 snapshot too old: $1\nContent-Type: text/plain\n\n";
162         print "snapshot to old: $1\n";
163         $db->disconnect;
164         exit;   
165     }
166 }
167
168 ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = gmtime($ts);
169 $year += 1900; $mon +=1;
170 my $dbdate=
171     sprintf("%d-%.2d-%.2d %.2d:%.2d:%.2d",$year,$mon,$mday,$hour,$min,$sec);
172
173 my $log_file_names;
174 my @log_file_names;
175 my $dirname = "../buildlogs/tmp.$$.unpacklogs";
176
177 if ($log_archive)
178 {
179     my $log_handle;
180     my $archname = "../buildlogs/tmp.$$.tgz";
181     open($log_handle,">$archname");
182     binmode $log_handle;
183     print $log_handle $log_archive;
184     close $log_handle;
185     mkdir $dirname;
186     @log_file_names = `tar -z -C $dirname -xvf $archname 2>/dev/null`;
187     map {s/\s+//g; } @log_file_names;
188     my @qnames = @log_file_names;
189     map { $_ = qq("$_"); } @qnames;
190     $log_file_names = '{' . join(',',@qnames) . '}';
191     # unlink $archname;
192 }
193
194 my $config_flags;
195 my $container = new Safe;
196 my $sconf = $conf; 
197 unless ($sconf =~ s/.*(\$Script_Config)/$1/ms )
198 {
199     $sconf = '$Script_Config={};';
200 }
201 my $client_conf = $container->reval("$sconf;");
202
203 if ($min_script_version)
204 {
205         $client_conf->{script_version} ||= '0.0';
206         my ($minmajor,$minminor) = split(/\./,$min_script_version);
207         my ($smajor,$sminor) = split(/\./,$client_conf->{script_version});
208         if ($minmajor > $smajor || ($minmajor == $smajor && $minminor > $sminor))
209         {
210                 print "Status: 460 script version too low\nContent-Type: text/plain\n\n";
211                 print 
212                         "Script version is below minimum required\n",
213                         "Reported version: $client_conf->{script_version},",
214                         "Minumum version required: $min_script_version\n";
215                 $db->disconnect;
216                 exit;
217         }
218 }
219
220 if ($min_web_script_version)
221 {
222         $client_conf->{web_script_version} ||= '0.0';
223         my ($minmajor,$minminor) = split(/\./,$min_script_version);
224         my ($smajor,$sminor) = split(/\./,$client_conf->{script_version});
225         if ($minmajor > $smajor || ($minmajor == $smajor && $minminor > $sminor))
226         {
227                 print "Status: 461 web script version too low\nContent-Type: text/plain\n\n";
228                 print 
229                         "Web Script version is below minimum required\n",
230                         "Reported version: $client_conf->{web_script_version},",
231                         "Minumum version required: $min_web_script_version\n";
232                 $db->disconnect;
233                 exit;
234         }
235 }
236
237 my @config_flags;
238 if (not exists $client_conf->{config_opts} )
239 {
240         @config_flags = ();
241 }
242 elsif (ref $client_conf->{config_opts} eq 'HASH')
243 {
244         # leave out keys with false values
245         @config_flags = grep { $client_conf->{config_opts}->{$_} } 
246             keys %{$client_conf->{config_opts}};
247 }
248 elsif (ref $client_conf->{config_opts} eq 'ARRAY' )
249 {
250         @config_flags = @{$client_conf->{config_opts}};
251 }
252
253 if (@config_flags)
254 {
255     @config_flags = grep {! m/=/ } @config_flags;
256     map {s/\s+//g; $_=qq("$_"); } @config_flags;
257     push @config_flags,'git' if $client_conf->{scm} eq 'git';
258     $config_flags = '{' . join(',',@config_flags) . '}' ;
259 }
260
261 my $scm = $client_conf->{scm} || 'cvs';
262 my $scmurl = $client_conf->{scm_url};
263
264 my $logst = <<EOSQL;
265     insert into build_status 
266       (sysname, snapshot,status, stage, log,conf_sum, branch,
267        changed_this_run, changed_since_success, 
268        log_archive_filenames , log_archive, build_flags, scm, scmurl)
269     values(?,?,?,?,?,?,?,?,?,?,?,?,?,?)
270 EOSQL
271 ;
272 $sth=$db->prepare($logst);
273
274 $sth->bind_param(1,$animal);
275 $sth->bind_param(2,$dbdate);
276 $sth->bind_param(3,$res);
277 $sth->bind_param(4,$stage);
278 $sth->bind_param(5,$log);
279 $sth->bind_param(6,$conf);
280 $sth->bind_param(7,$branch);
281 $sth->bind_param(8,$changed_this_run);
282 $sth->bind_param(9,$changed_since_success);
283 $sth->bind_param(10,$log_file_names);
284 #$sth->bind_param(11,$log_archive,{ pg_type => DBD::Pg::PG_BYTEA });
285 $sth->bind_param(11,undef,{ pg_type => DBD::Pg::PG_BYTEA });
286 $sth->bind_param(12,$config_flags);
287 $sth->bind_param(13,$scm);
288 $sth->bind_param(14,$scmurl);
289
290 $sth->execute;
291 $sth->finish;
292
293 my $logst2 = <<EOSQL;
294
295   insert into build_status_log 
296     (sysname, snapshot, branch, log_stage, log_text, stage_duration)
297     values (?, ?, ?, ?, ?, ?)
298
299 EOSQL
300     ;
301
302 $sth = $db->prepare($logst2);
303
304 $/=undef;
305
306 my $stage_start = $ts;
307
308 foreach my $log_file( @log_file_names )
309 {
310   my $handle;
311   open($handle,"$dirname/$log_file");
312   my $mtime = (stat $handle)[9];
313   my $stage_interval = $mtime - $stage_start;
314   $stage_start = $mtime;
315   my $ltext = <$handle>;
316   close($handle);
317   $ltext =~ s/\x00/\\0/g;
318   $sth->execute($animal,$dbdate,$branch,$log_file,$ltext, 
319                 "$stage_interval seconds");
320 }
321
322
323 $sth->finish;
324
325 my $prevst = <<EOSQL;
326
327   select coalesce((select distinct on (snapshot) stage
328                   from build_status
329                   where sysname = ? and branch = ? and snapshot < ?
330                   order by snapshot desc
331                   limit 1), 'NEW') as prev_status
332   
333 EOSQL
334
335 $sth=$db->prepare($prevst);
336 $sth->execute($animal,$branch,$dbdate);
337 my $row=$sth->fetchrow_arrayref;
338 my $prev_stat=$row->[0];
339 $sth->finish;
340
341 my $det_st = <<EOS;
342
343           select operating_system|| ' / ' || os_version as os , 
344                  compiler || ' / ' || compiler_version as compiler, 
345                  architecture as arch
346           from buildsystems 
347           where status = 'approved'
348                 and name = ?
349
350 EOS
351 ;
352 $sth=$db->prepare($det_st);
353 $sth->execute($animal);
354 $row=$sth->fetchrow_arrayref;
355 my ($os, $compiler,$arch) = @$row;
356 $sth->finish;
357
358 $db->begin_work;
359 $db->do("delete from dashboard_mat");
360 $db->do("insert into dashboard_mat select * from dashboard_mat_data");
361 $db->commit;
362
363 $db->disconnect;
364
365 print "Content-Type: text/plain\n\n";
366 print "request was on:\n";
367 print "res=$res&stage=$stage&animal=$animal&ts=$ts";
368
369 my $client_events = $client_conf->{mail_events};
370
371 if ($ENV{BF_DEBUG})
372 {
373         my $client_time = $client_conf->{current_ts};
374     open(TX,">>../buildlogs/$animal.$date");
375     print TX "\n",Dumper(\$client_conf),"\n";
376         print TX "server time: $server_time, client time: $client_time\n" if $client_time;
377     close(TX);
378 }
379
380 my $bcc_stat = [];
381 my $bcc_chg=[];
382 if (ref $client_events)
383 {
384     my $cbcc = $client_events->{all};
385     if (ref $cbcc)
386     {
387         push @$bcc_stat, @$cbcc;
388     }
389     elsif (defined $cbcc)
390     {
391         push @$bcc_stat, $cbcc;
392     }
393     if ($stage ne 'OK')
394     {
395         $cbcc = $client_events->{all};
396         if (ref $cbcc)
397         {
398             push @$bcc_stat, @$cbcc;
399         }
400         elsif (defined $cbcc)
401         {
402             push @$bcc_stat, $cbcc;
403         }
404     }
405     $cbcc = $client_events->{change};
406     if (ref $cbcc)
407     {
408         push @$bcc_chg, @$cbcc;
409     }
410     elsif (defined $cbcc)
411     {
412         push @$bcc_chg, $cbcc;
413     }
414     if ($stage eq 'OK' || $prev_stat eq 'OK')
415     {
416         $cbcc = $client_events->{green};
417         if (ref $cbcc)
418         {
419             push @$bcc_chg, @$cbcc;
420         }
421         elsif (defined $cbcc)
422         {
423             push @$bcc_chg, $cbcc;
424         }
425     }
426 }
427
428
429 my $url = $query->url(-base => 1);
430
431
432 my $stat_type = $stage eq 'OK' ? 'Status' : 'Failed at Stage';
433
434 my $mailto = [@$all_stat];
435 push(@$mailto,@$fail_stat) if $stage ne 'OK';
436
437 my $me = `id -un`; chomp($me);
438
439 my $host = `hostname`; chomp ($host);
440 $host = $default_host unless ($host =~ m/[.]/ || !defined($default_host));
441
442 my $from_addr = "PG Build Farm <$me\@$host>";
443 $from_addr =~ tr /\r\n//d;
444
445 my $msg = new Mail::Send;
446
447
448 $msg->to(@$mailto);
449 $msg->bcc(@$bcc_stat) if (@$bcc_stat);
450 $msg->subject("PGBuildfarm member $animal Branch $branch $stat_type $stage");
451 $msg->set('From',$from_addr);
452 my $fh = $msg->open;
453 print $fh <<EOMAIL; 
454
455
456 The PGBuildfarm member $animal had the following event on branch $branch:
457
458 $stat_type: $stage
459
460 The snapshot timestamp for the build that triggered this notification is: $dbdate
461
462 The specs of this machine are:
463 OS:  $os
464 Arch: $arch
465 Comp: $compiler
466
467 For more information, see $url/cgi-bin/show_history.pl?nm=$animal&br=$branch
468
469 EOMAIL
470
471 $fh->close;
472
473 exit if ($stage eq $prev_stat);
474
475 $mailto = [@$change_stat];
476 push(@$mailto,@$green_stat) if ($stage eq 'OK' || $prev_stat eq 'OK');
477
478 $msg = new Mail::Send;
479
480
481 $msg->to(@$mailto);
482 $msg->bcc(@$bcc_chg) if (@$bcc_chg);
483
484 $stat_type = $prev_stat ne 'OK' ? "changed from $prev_stat failure to $stage" :
485     "changed from OK to $stage";
486 $stat_type = "New member: $stage" if $prev_stat eq 'NEW';
487 $stat_type .= " failure" if $stage ne 'OK';
488
489 $msg->subject("PGBuildfarm member $animal Branch $branch Status $stat_type");
490 $msg->set('From',$from_addr);
491 $fh = $msg->open;
492 print $fh <<EOMAIL;
493
494 The PGBuildfarm member $animal had the following event on branch $branch:
495
496 Status $stat_type
497
498 The snapshot timestamp for the build that triggered this notification is: $dbdate
499
500 The specs of this machine are:
501 OS:  $os
502 Arch: $arch
503 Comp: $compiler
504
505 For more information, see $url/cgi-bin/show_history.pl?nm=$animal&br=$branch
506
507 EOMAIL
508
509 $fh->close;