doc/eval.html

   1 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html40/strict.dtd">
   2
   3 <html><head>
   4 <title>MO Eval - Evaluation</title>
   5 <link rev=made href="mailto:mj@ucw.cz">
   6 <link rel=stylesheet title=Default href="mo-eval.css" type="text/css" media=all>
   7 </head><body>
   8
   9 <h1>Evaluating solutions</h1>
  10
  11 <p>When the competition is over, copy all solutions submitted by the contestants
  12 to <code>solutions/</code><i>contestant</i><code>/</code><i>task</i>. If you use
  13 our submitting system, you can call <code>bin/mo-grab</code> to do this.
  14
  15 <p>Then you can call <code>bin/ev</code> <i>contestant</i> <i>task</i> to evaluate
  16 a single solution. (In some cases, you can also add the name of the solution as the
  17 third parameter, which could be useful for comparing different author's solutions.)
  18
  19 <p>You can also use <code>bin/mo-ev-all</code> <i>task names</i> to evaluate
  20 solutions of the specified tasks by all contestants.
  21
  22 <p>The open data problems are evaluated in a different way, you need to run
  23 <code>bin/ev-open</code> or <code>bin/mo-ev-open-all</code> instead.
  24
  25 <h2>Results</h2>
  26
  27 <p>For each solution evaluated, <code>bin/ev</code> creates the directory <code>testing/</code><i>contestant</i><code>/</code><i>task</i>
  28 containing:
  29
  30 <ul>
  31 <li>a copy of the source code of the solution
  32 <li>the compiled executable of the solution
  33 <li><code>log</code> &ndash; the log file of compilation
  34 <li><i>test</i><code>.in</code> &ndash; input for the particular test
  35 <li><i>test</i><code>.out</code> &ndash; contestant's output for the particular test
  36 <li><i>test</i><code>.ok</code> &ndash; correct output for the particular test (if given in the problem definition)
  37 <li><i>test</i><code>.log</code> &ndash; detailed log of the particular test, including output of the judge
  38 <li><code>points</code> &ndash; summary of points assigned for the tests. Each line corresponds to a single
  39 test and it contains three whitespace-separated columns: the name of the test, number of points awarded
  40 and a log message.
  41 </ul>
  42
  43 <h2>Sandbox</h2>
  44
  45 <p>The solutions under evaluation run in a simple sandbox which restricts time,
  46 memory and system calls available to the program. You can set the sandbox options
  47 in the top-level config file, see <code>bin/box --help</code> for a list of the
  48 available ones.
  49
  50 <h2>Score table</h2>
  51
  52 <p>The <code>bin/mo-score</code> utility can be used to generate a score table
  53 from all the points files in HTML. The quality of the output is not perfect,
  54 but it can serve as a basis for further formatting.
  55
  56 </body></html>