t/doc/eval_timing.rst

   1 Evaluation timeline
   2 ====================
   3
   4 Main pipeline
   5 -------------
   6
   7 ======= ========================
   8 Time    Action
   9 ======= ========================
  10 \       Apply command-line overrides, set basic builtins (`CONFIG_FILE`, `VERBOSITY`, ...)
  11 \       FIX: `CONFIG_FILE`
  12 \       Load `CONFIG_FILE`
  13 \       FIX: `LOG_FILE`, `VERBOSITY`, `HOME`, `TDIR`, `BOXDIR`, `HOOKS`, `TEST_HOOKS`, ...
  14 \       Start logging to `LOG_FILE`
  15 \       Insert predefined hooks, `HOOKS` and `TEST_HOOKS` to pipelines
  16 5       [m] Check basic settings, directories and rights
  17 10      [m] Task **must** be ready (rsynced, pulled). Locate and fix `PDIR`
  18 15      [m] Load `TASK_CONFIG_FILE` (dep. on `PDIR`)
  19 20      [m] Check `TASK_TYPE` and depending on that, initialize the module and insert future actions
  20 **For 'standard':**
  21 --------------------------------
  22 25      [tt] Locate the source
  23 30      [tt] Initialize sandbox module
  24 35      [tt] Initialize compiler module, insert its hooks
  25 50      [cpl] Compile the source, perhaps using the sandbox
  26 60      [tt] Run test pipeline for each `TEST` of `TESTS`
  27 **For 'opendata':**
  28 --------------------------------
  29 25      [tt] Locate the data files (as a dir)
  30 30      [tt] Initialize sandbox module (if needed)
  31 40      [tt] Initialize judge module, insert its hooks
  32 60      [tt] Run test pipeline for each `TEST` of `TESTS`
  33 **Recovery**
  34 --------------------------------
  35 70      Any failure jumps to this time
  36 80      [*] Cleanup must be finished
  37 \       Write metafile
  38 ======= ========================
  39
  40 Test pipeline
  41 -------------
  42
  43 ======= ========================
  44 Time    Action
  45 ======= ========================
  46 \       Tee logging to test log file
  47 **For 'standard':**
  48 --------------------------------
  49 10      [tt] Copy test data to `TDIR` and to `BOXDIR`
  50 30      [tt] Run testee (inside sandbox)
  51 40      [tt] Run judge (inside sandbox)
  52 50      [tt] Read/parse judge result
  53 60      [tt] Copy program output to `TDIR`
  54 **For 'opendata':**
  55 --------------------------------
  56 10      [tt] Copy test data to `TDIR` and to `BOXDIR`
  57 20      [tt] Locate the data file, copy to
  58 40      [tt] Run judge (inside sandbox)
  59 50      [tt] Read/parse judge result
  60 **Recovery**
  61 --------------------------------
  62 70      Any failure jumps to this time
  63 80      [*] Cleanup must be finished
  64 \       Write metafile
  65 ======= ========================