Added status write to string

Writing to file still direct, but I would like to rewrite using strings.

Made ConfigTree.fix take list os well, added test

Timeline change, multiple changes in Eval

I am sorry for this giga-commit, but it would be too much
work to split it

Update (some) docs, small timeline change
(move loading tasktype from init to pipeline)

Eval.stat -> Eval.status (cosmetic)
Add basic (builtins) and testing configuration
Eval.init fills mainline with basic hooks
Eval.init loads and initializes extensions
Increase indentation (2 by gavento -> 4 by MJ)
Write all main hooks in Eval
Eval.hook_init_tasktype loads tasktype module

It may not seem so, but most of the important
code is reused :-)

Moved module loading, use __import__() now

General util.load_module returns module by name.
Hook adding in pipeline removed (and distributed to
tasktype module loading and extension module loading, both in Eval)

Forgotten __init__.py

HOOKS->EXTENSIONS (with explanation), added dummy extension

Hooks had some problems - the hook modules have to insert self
into the pipeline, but cannot decide into which (only main) and
cannot see Eval during init() (or use the logs)

Having HOOKS with explicit timing:
HOOKS="m:8:my_main_pipeline_hook t:79:cleanup_in_test_pipeline"
would be a possibility, but a little too complex.

Extension is almost the same thing as hook (sugary name change),
but can do anything during init, can insert multiple hooks
(to both main and test pipelines), read/change configuration
and use logs.

Good extension example is fetching tasks via RSYNC or GIT.

Added dummy task type

Update makefile

Add ConfigTree.fix, improve parse_file and use it in Eval.init

Played with the documentation

No real work done, really. Just fun.

Created a hyperlink! (and base docs for moe.eval)

Minor doc updates and fixes

Fixed syntactic typo in eval.py

Updated documentation and tidyed up eval.py

Updated INIT part of the timeline
Shifted some stuff in eval.py around
(re)Created Eval.run() (run in init did not make sense)

Made an observation:
  Tried porgrameer make many mitsakes.

Fidex several errors in log.py

several copy'n'paste errors, forgot to set the level, doc errors,
change main log Formatter

Rewriting eval.py with new log, config and timeline

Moving initializaton together, remaining init_* will be called from main pipeline
Most changes are moves and rewrites - the meaning did not change much
The actions are as listed in doc/timeline

Created documentation

Unsing Sphinx, restructured text
Updated documentation strings in config.py and config_parser.py
Makefile for running nosetests and building docs

Rewrite of moe.log using python logging

Bells, whistles, formatters, per-test logfiles included!

Renamed conf -> config, refactoring inside config

Added ConfigTree.parse and ConfigTree.parse_file
Minor global renaming changes inside parser and tests

Added shorthand access moe.ConfTree[key] to conf

Updated tests, added priority (levels) test

Fixed small error (which should manifest anyway)

Implemented varname as a shorthand for "{varname}"

Fixed: variable parsing at end of file
Updated grammar and tests, new test

Add unicode and file parsing test

Test variable fixing, update TODO

Fixed stupid order error in fixing

Sanitize by adding newlines detween defs

Implemented simple variable fixing.

Fix local import name

Config parser: added one forgotten WS

Several new tests, updated, all passed

Also covers all important code

Now moe module, update ConfigError, minor fix

New ConfigError subclasses, move re_VARNAME

Moved re_VARNAME to conf.py
Minor fix VARNAME checking in ConfigTree.lookup()

Fixed invalidating conditions and chained condition parsing

Fixed minor bug in conf condition eval

Fixed mismatch of params of eval(cl, depth)

Many fixes to config parser, many (passed) tests.

Not complete test coverage yet. See notes in conf.test.py

Fixed minor type typo

Included *.pyc to .gitignore

Config parser complete, but completely untested.

Dozens of bugs await!

Changes to config operations structure.

Changed config operaiton from triplets to a helper class,
added operation level (as priority) instead of index and
optional source. Changed dump format.
Removal now by operation instead of index.

Test updated and passed, but still not full coverage. WIP parser test.

Syntax constants localized to parser class.

Complete, but untested config parser.

Renamed VARNAME_re to re_VARNAME

Changed clause->formula in ConfigCondition, added formula pretty-printing

New file for conf parser, move and update conf file syntax

Added syntax for config files (to be reviewed)

Add TODO note obput fixing variables

Imporoved and shortened conf.py code

Removed subtrees, now only one namespace
Transparent variable creation upon lookup
Implemented general condition clauses (AND, OR, NOT, ==, !=)
Conditions now have 'parent' condition (containing condition block)
Variables refer to only one condition (and indirectly its parents)
Renamed get_value -> evaluate and evaluate -> value
Improved max-depth checking
Updated the test/example (still no conditions)
pprint replaced with dump (for consistency, but still returns an iterator)
Some dovumentation (with TODO's)

New module for config evaluation. Basic testing.

Implemented:
* Configuration tree,
* Variables,
* Variable-setting operations ('SET' and 'APPEND')
* Equality conditions (WIP, not tested yet),
* Substitution expressions with text and variables,
* Pretty-printing,
* Caching for variables and conditions with invalidation along reverse-dependencies,
* Add and remove operations from variables with correct reverse-dependency handling (add and remove)

TODO: smarter conditions, variable lookup (and maybe transparent creation),
possibly cleanup of unused variables and conditions

(tests full coverage except conditions)

Saved the example task

Better logging of exceptions

Make "+=" insert spaces as necessary

Removed config resolution caching

Implemented syntax checkers and output filters

Backward-compatible point files implemented

Unify names of exception variables

e.cfgs[x] can be shortened to e[x]

Judges can return single-line verdicts on stderr instead of producing a status file

Cleaup of the config file

Err -> Error in all exception names (to be consistent with naming of standard Python exceptions)

Status files are now handled almost properly

Batch task testing works (sort of)

More bits of compilation

Added sandbox interface module

Parts of compilation

Renamed meta files to status files to match the Moe paper

Cleaned up exception handling and logging

Logging

Implemented configuration overrides from the command line

Locating batch tasks

First attempts at the evaluation overlord

Added a shabby skeleton of a logging module

Added a simple utility function for simulating mkdir -p.

Better error reporting

Better error reporting on the pipeline

A better implementation of the pipeline, including hook loader

Do not try to distinguish between single and double quotes

They are the same in Python.

A brief experiment with pipelines

Configuration values are now cached

Implemented overrides

Better error reporting

Added a prototype of the configuration module.

Initial experimental version of the meta-file module.

Eval: Added STACK_LIMIT.

Box: Do not report all errors as "during startup" if syscalls are not filtered.

Box: Added an option for controlling the stack size limit.

Beware, the default has been changed to `unlimited' instead of inheriting
the limit from the parent process.

Hopefully fixed the occasional "UGH" error.

When the machine creaks under high load, SIGALRM can arrive during the
final wait4() in box_exit(), causing it to return EINTR. Restart waiting
in such cases.

Include <linux/ptrace.h>, because <sys/ptrace.h> tends to be incomplete

Added a description of the meta-files

Box: Record in the meta-file whether the process has been killed

If it was, the time/memory statictics are known to be incomplete.

Box: Implemented the `-x' (extra timeout) option

Syscall handling reform

The previous code did not work with syscalls that do not return a value -- e.g.,
sysreturn(). In such cases, the kernel reports the exit from the syscall with
orig_eax == -1, which cannot be easily distinguished from a breakpoint.

I have rewritten the syscall checker to use the PTRACE_O_TRACESYSGOOD switch,
which causes the kernel to report syscalls in a slightly different way. Also,
the code now tests whether the syscall number on exit matched the one recorded
on entry (purely as a guard against possible silly bugs in synchronization
of syscall enter/exit reports with the kernel) and it also avoids suppresses
the meaningless return value of the sysreturn-like syscalls.

Box: Use SIGSTOP to notify the parent that the child is ready to be traced
instead of SIGCHLD. This should be safer.

Merge branch 'master' of ssh://git.ucw.cz/home/mj/GIT/eval

Sandbox: call setup_environment() before enabling syscall tracing

MOP: New templates for Debian Lenny

MOP: Updated the score table heading.

Added Milan's FPC patch (abort on runtime error)

mo-score-mop: implemented merging of test case groups

Install libraries with the submitter.

Merge branch 'layout'

Fixed typesetting of logins.

Adjusted configuration of tempfiles to new libucw.