Minor pretty-printing

Fix the hooks in eval.py (self -> e), status writing

Updates in status and pipeline debugging

New eval.debug_dump_status()
Remove extra newlines from debug messages
Rename status.str_lines -> status.dump

New task "sum" - dummy for now

Minor config changes

Fixed dummy task type

Configure "TEST=" properly
Fix running the test pipe

Many changes to pipeline.py

Rename MoePipeline -> Pipeline
Add Eval and skip_to to Pipeline properties
Asserts when inserting to pipeline
Rewrite dump to return strings instead of writing to file
Some docstrings, clenup

Update eval.py to new constructor

Pipeline functions now get keyword arguments

No dependence on order, Eval argument called `e`
Fixed dummy extension and task type

Fixed pipeline.insert args order

Minor fix config dumping

Minor fix extensions loading in eval.py

Fixes around DEBUG_LEVEL

Introduce DEBUG_LEVEL dependency on VERBOSITY
TODO: solve DEBUG_LEVEL better (specially in eval.py?)

Fix log.py

Minor fix in util.py

Fix dummy task-type

Fix dummy extension

Moved some basic settings from eval.py to config

Updated config format
Fix a typo in eval.py

Fixes in config and config parsing

Module name error, better exception information

Added status write to string

Writing to file still direct, but I would like to rewrite using strings.

Made ConfigTree.fix take list os well, added test

Timeline change, multiple changes in Eval

I am sorry for this giga-commit, but it would be too much
work to split it

Update (some) docs, small timeline change
(move loading tasktype from init to pipeline)

Eval.stat -> Eval.status (cosmetic)
Add basic (builtins) and testing configuration
Eval.init fills mainline with basic hooks
Eval.init loads and initializes extensions
Increase indentation (2 by gavento -> 4 by MJ)
Write all main hooks in Eval
Eval.hook_init_tasktype loads tasktype module

It may not seem so, but most of the important
code is reused :-)

Moved module loading, use __import__() now

General util.load_module returns module by name.
Hook adding in pipeline removed (and distributed to
tasktype module loading and extension module loading, both in Eval)

Forgotten __init__.py

HOOKS->EXTENSIONS (with explanation), added dummy extension

Hooks had some problems - the hook modules have to insert self
into the pipeline, but cannot decide into which (only main) and
cannot see Eval during init() (or use the logs)

Having HOOKS with explicit timing:
HOOKS="m:8:my_main_pipeline_hook t:79:cleanup_in_test_pipeline"
would be a possibility, but a little too complex.

Extension is almost the same thing as hook (sugary name change),
but can do anything during init, can insert multiple hooks
(to both main and test pipelines), read/change configuration
and use logs.

Good extension example is fetching tasks via RSYNC or GIT.

Added dummy task type

Update makefile

Add ConfigTree.fix, improve parse_file and use it in Eval.init

Played with the documentation

No real work done, really. Just fun.

Created a hyperlink! (and base docs for moe.eval)

Minor doc updates and fixes

Fixed syntactic typo in eval.py

Updated documentation and tidyed up eval.py

Updated INIT part of the timeline
Shifted some stuff in eval.py around
(re)Created Eval.run() (run in init did not make sense)

Made an observation:
  Tried porgrameer make many mitsakes.

Fidex several errors in log.py

several copy'n'paste errors, forgot to set the level, doc errors,
change main log Formatter

Rewriting eval.py with new log, config and timeline

Moving initializaton together, remaining init_* will be called from main pipeline
Most changes are moves and rewrites - the meaning did not change much
The actions are as listed in doc/timeline

Created documentation

Unsing Sphinx, restructured text
Updated documentation strings in config.py and config_parser.py
Makefile for running nosetests and building docs

Rewrite of moe.log using python logging

Bells, whistles, formatters, per-test logfiles included!

Renamed conf -> config, refactoring inside config

Added ConfigTree.parse and ConfigTree.parse_file
Minor global renaming changes inside parser and tests

Added shorthand access moe.ConfTree[key] to conf

Updated tests, added priority (levels) test

Fixed small error (which should manifest anyway)

Implemented varname as a shorthand for "{varname}"

Fixed: variable parsing at end of file
Updated grammar and tests, new test

Add unicode and file parsing test

Test variable fixing, update TODO

Fixed stupid order error in fixing

Sanitize by adding newlines detween defs

Implemented simple variable fixing.

Fix local import name

Config parser: added one forgotten WS

Several new tests, updated, all passed

Also covers all important code

Now moe module, update ConfigError, minor fix

New ConfigError subclasses, move re_VARNAME

Moved re_VARNAME to conf.py
Minor fix VARNAME checking in ConfigTree.lookup()

Fixed invalidating conditions and chained condition parsing

Fixed minor bug in conf condition eval

Fixed mismatch of params of eval(cl, depth)

Many fixes to config parser, many (passed) tests.

Not complete test coverage yet. See notes in conf.test.py

Fixed minor type typo

Included *.pyc to .gitignore

Config parser complete, but completely untested.

Dozens of bugs await!

Changes to config operations structure.

Changed config operaiton from triplets to a helper class,
added operation level (as priority) instead of index and
optional source. Changed dump format.
Removal now by operation instead of index.

Test updated and passed, but still not full coverage. WIP parser test.

Syntax constants localized to parser class.

Complete, but untested config parser.

Renamed VARNAME_re to re_VARNAME

Changed clause->formula in ConfigCondition, added formula pretty-printing

New file for conf parser, move and update conf file syntax

Added syntax for config files (to be reviewed)

Add TODO note obput fixing variables

Imporoved and shortened conf.py code

Removed subtrees, now only one namespace
Transparent variable creation upon lookup
Implemented general condition clauses (AND, OR, NOT, ==, !=)
Conditions now have 'parent' condition (containing condition block)
Variables refer to only one condition (and indirectly its parents)
Renamed get_value -> evaluate and evaluate -> value
Improved max-depth checking
Updated the test/example (still no conditions)
pprint replaced with dump (for consistency, but still returns an iterator)
Some dovumentation (with TODO's)

New module for config evaluation. Basic testing.

Implemented:
* Configuration tree,
* Variables,
* Variable-setting operations ('SET' and 'APPEND')
* Equality conditions (WIP, not tested yet),
* Substitution expressions with text and variables,
* Pretty-printing,
* Caching for variables and conditions with invalidation along reverse-dependencies,
* Add and remove operations from variables with correct reverse-dependency handling (add and remove)

TODO: smarter conditions, variable lookup (and maybe transparent creation),
possibly cleanup of unused variables and conditions

(tests full coverage except conditions)

Saved the example task

Better logging of exceptions

Make "+=" insert spaces as necessary

Removed config resolution caching

Implemented syntax checkers and output filters

Backward-compatible point files implemented

Unify names of exception variables

e.cfgs[x] can be shortened to e[x]

Judges can return single-line verdicts on stderr instead of producing a status file

Cleaup of the config file

Err -> Error in all exception names (to be consistent with naming of standard Python exceptions)

Status files are now handled almost properly

Batch task testing works (sort of)

More bits of compilation

Added sandbox interface module

Parts of compilation

Renamed meta files to status files to match the Moe paper

Cleaned up exception handling and logging

Logging

Implemented configuration overrides from the command line

Locating batch tasks

First attempts at the evaluation overlord

Added a shabby skeleton of a logging module

Added a simple utility function for simulating mkdir -p.

Better error reporting

Better error reporting on the pipeline

A better implementation of the pipeline, including hook loader

Do not try to distinguish between single and double quotes

They are the same in Python.

A brief experiment with pipelines

Configuration values are now cached

Implemented overrides

Better error reporting

Added a prototype of the configuration module.

Initial experimental version of the meta-file module.

Eval: Added STACK_LIMIT.

Box: Do not report all errors as "during startup" if syscalls are not filtered.

Box: Added an option for controlling the stack size limit.

Beware, the default has been changed to `unlimited' instead of inheriting
the limit from the parent process.