]> mj.ucw.cz Git - libucw.git/blob - build/tester
Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.12
[libucw.git] / build / tester
1 #!/usr/bin/perl
2 # A simple unit testing script
3 # (c) 2004--2007 Martin Mares <mj@ucw.cz>
4 # (c) 2007 Pavel Charvat <pchar@ucw.cz>
5
6 # Tests in the test file have a syntax similar to mail headers,
7 # individual test case are separated by blank lines and they can contain
8 # the following fields:
9 #
10 #       Name:   name of the case (default: sequence number since start of file)
11 #       Run:    command to run (default: command from the previous test case)
12 #               This can be an arbitrary shell pipeline, sequences $0 to $9 are
13 #               replaced by file names of In<N> or Out<N> files (see below).
14 #       In:     lines to pass to the program as standard input
15 #       Out:    lines to expect at the program's standard output
16 #       In<N>:  lines to pass to the program as input file <N>
17 #       Out<N>: lines to expect from the program in output file <N>
18 #               Both In<N> and Out<N> can be specified simultaneously if we
19 #               are testing a program which modifies some of its input files.
20 #       Exit:   expected exit code of the program (default: 0)
21
22 use Getopt::Long;
23
24 my $verbose = 0;
25 my $rundir = ".";
26 GetOptions("verbose!" => \$verbose,
27            "rundir=s" => \$rundir)
28         or die "Usage: tester [--verbose] [--rundir=<dir>] <tests>\n";
29
30 my @tests = ();
31 my $tt;
32 my $append_to;
33
34 while (<>) {
35         /^#/ && next;
36         if (/^\s*$/) {
37                 $tt = undef;
38                 $append_to = undef;
39         } elsif (defined($append_to) && /^\s+(.*)$/) {
40                 $$append_to .= "\n$1";
41         } elsif (my ($n,$v) = /^(\w+):\s+(.*)$/) {
42                 if (!$tt) {
43                         $tt = {};
44                         push @tests, $tt;
45                 }
46                 ($tt->{$n}) && die "$n already defined";
47                 $tt->{$n} = $v;
48                 $append_to = \($tt->{$n});
49         } else {
50                 die "Test script syntax error";
51         }
52 }
53
54 if (! -d "$rundir/tmp") {
55         mkdir "$rundir/tmp" or die "Unable to create $rundir/tmp: $!";
56 }
57
58 my $i = 0;
59 my $errors = 0;
60 my $prev_run = undef;
61 TEST: foreach $tt (@tests) {
62         $i++;
63         my $name = $tt->{'Name'} || $i;
64         print "Test $name: ";
65         $run = ($tt->{'Run'} || $prev_run) or die "Don't know what to run";
66         $prev_run = $run;
67
68         my @out_files = ();
69         my @out_checks = ();
70         my $redirs = "";
71
72         if (defined $tt->{'In'}) {
73                 my $ifi = "tmp/test$i.in";
74                 open X, ">$rundir/$ifi" or die "Unable to create $ifi";
75                 print X $tt->{'In'}, "\n";
76                 close X;
77                 $redirs .= " <$ifi";
78         } else {
79                 $redirs .= " </dev/null";
80         }
81         if (defined $tt->{'Out'}) {
82                 my $ofi = "tmp/test$i.out";
83                 unlink "$rundir/$ofi";
84                 $redirs .= " >$ofi";
85                 push @out_files, $ofi;
86                 push @out_checks, $tt->{'Out'};
87         } else {
88                 $redirs .= " >/dev/null";
89         }
90         foreach my $arg (0..9) {
91                 my $f = "tmp/test$i.$arg";
92                 if (defined $tt->{"Out$arg"}) {
93                         unlink "$rundir/$f";
94                         push @out_files, $f;
95                         push @out_checks, $tt->{"Out$arg"};
96                 }
97                 if (defined $tt->{"In$arg"}) {
98                         open X, ">$rundir/$f" or die "Unable to create $f";
99                         print X $tt->{"In$arg"}, "\n";
100                         close X;
101                 }
102         }
103         $run =~ s/\$(\d)/tmp\/test$i.$1/g;
104         print "(running $run) " if $verbose;
105         system "cd $rundir && ( $run ) $redirs";
106         if ($? % 256) {
107                 print "FAILED with status code $?\n";
108                 $errors++;
109                 next;
110         }
111         my $ec = $? / 256;
112         my $expect_ec = $tt->{'Exit'} || 0;
113         if ($ec != $expect_ec) {
114                 print "FAILED: unexpected exit code $ec\n";
115                 $errors++;
116                 next;
117         }
118
119         for (my $i=0; $i<=$#out_files; $i++) {
120                 my $ofi = $out_files[$i];
121                 open X, "<$rundir/$ofi" or die "Unable to read $ofi";
122                 my $out;
123                 {
124                         local $/ = undef;
125                         $out = <X>;
126                 }
127                 close X;
128                 if ($out ne $out_checks[$i] . "\n") {
129                         print "FAILED (see $ofi)\n";
130                         $errors++;
131                         next TEST;
132                 }
133         }
134
135         system "rm $rundir/tmp/test$i.*";
136         print "OK\n";
137 }
138
139 exit !!$errors;