Fixed a couple of typos in the documentation

Merge branch 'python-newpipe' into python

Attempt at order-defined pipelines

Refactor

Changed log to global module moe.logs
Use "from moe.logs import *" to get log, userlog, testlog and pipelog.
testlog (and possibly pipelog) are pointed to different places during
run. testlog is either separate, or main log.

Scale time (to match tasktypes/batch)

Wrote new pipeline

Make logs global (class was stupid)

Started rewrite to dependency based pipelines

Status file docs: A couple of minor improvements

Whitespace cleanup

Minor updates (docs, status.py)

Change base classes of Status and InvalidStatusFile
Fix some docs typos and invalid format

Fix in status parsing, add test, add update test

Status parser did not check for all subtrees to be closed, fix
Add test for the above bug
Add tests for status update

Tests for status, status.py fixes, minor changes

Tests for Status (except for Status.update)
Add status_test.py to "make test"
Status.do_read(): input from iterator of lines, implement multiline vals
Status.read(): remove default sys.stdin, adapt to do_read()
Removed "Moe" prefix from status exception name

Several changes in status.py, wrote docs

Documented the new semantics of status file (unique keys, multiline
  entries, merge/update)
Rewrite Status to reflect docs
Renamed Status exception to MoeInvalidStatusFile
Added Status.update according to docs

Rethemed html docs (sidebar optional)

Added function config_escape

For safe constructon configuration commands as strings, tested, documented.

Rewrite docs of config

Much better now (or even finished?!)

Minor fix in log, extend default config

Moving things around, WIP batch tasktype via hooks

Trying to make testutils a collection of useful functions and hooks
and to make tasktypes/batch as minimalistic as possible
(and to make writing new task types easy as well)

Changed pipeline.insert syntax - now guesses the function name

Added unfix(), corrected fix()

Adapted test-pipeline runner in dummy tasktype to use "with parse"

Creating the text to be parsed is not really safe - testname must not
include ', otherwise the parsing may fail

Hmm ...
Maybe another way?

Add context manager to ConfigTree.parse

Now we can do:

with parse("..."):
  use modified config
  raise exception

Also adapted one test. Yay!

Added ConfigTree.remove, adapted parse and parse_file

parse(_file) returns list of operations.
remove removes these from the config

Includes a testcase

Fixed ConfigVar.variables in case of no operations

Added a paranoid test for evaluation order

Fixed variable-list returning functions and removing operations in config.py

ConfigExpression.variables returns set instead of a list
 - multiple occurences of one variable broke removing
   operation from variable
Adapted and simplified ConfigVar.variables

Modified test.py (almost rewrite)

Renamed MoeStatus -> Status

Writing status uses dump

Also use 'with' around IO

Minor pretty-printing

Fix the hooks in eval.py (self -> e), status writing

Updates in status and pipeline debugging

New eval.debug_dump_status()
Remove extra newlines from debug messages
Rename status.str_lines -> status.dump

New task "sum" - dummy for now

Minor config changes

Fixed dummy task type

Configure "TEST=" properly
Fix running the test pipe

Many changes to pipeline.py

Rename MoePipeline -> Pipeline
Add Eval and skip_to to Pipeline properties
Asserts when inserting to pipeline
Rewrite dump to return strings instead of writing to file
Some docstrings, clenup

Update eval.py to new constructor

Pipeline functions now get keyword arguments

No dependence on order, Eval argument called `e`
Fixed dummy extension and task type

Fixed pipeline.insert args order

Minor fix config dumping

Minor fix extensions loading in eval.py

Fixes around DEBUG_LEVEL

Introduce DEBUG_LEVEL dependency on VERBOSITY
TODO: solve DEBUG_LEVEL better (specially in eval.py?)

Fix log.py

Minor fix in util.py

Fix dummy task-type

Fix dummy extension

Moved some basic settings from eval.py to config

Updated config format
Fix a typo in eval.py

Fixes in config and config parsing

Module name error, better exception information

Added status write to string

Writing to file still direct, but I would like to rewrite using strings.

Made ConfigTree.fix take list os well, added test

Timeline change, multiple changes in Eval

I am sorry for this giga-commit, but it would be too much
work to split it

Update (some) docs, small timeline change
(move loading tasktype from init to pipeline)

Eval.stat -> Eval.status (cosmetic)
Add basic (builtins) and testing configuration
Eval.init fills mainline with basic hooks
Eval.init loads and initializes extensions
Increase indentation (2 by gavento -> 4 by MJ)
Write all main hooks in Eval
Eval.hook_init_tasktype loads tasktype module

It may not seem so, but most of the important
code is reused :-)

Moved module loading, use __import__() now

General util.load_module returns module by name.
Hook adding in pipeline removed (and distributed to
tasktype module loading and extension module loading, both in Eval)

Forgotten __init__.py

HOOKS->EXTENSIONS (with explanation), added dummy extension

Hooks had some problems - the hook modules have to insert self
into the pipeline, but cannot decide into which (only main) and
cannot see Eval during init() (or use the logs)

Having HOOKS with explicit timing:
HOOKS="m:8:my_main_pipeline_hook t:79:cleanup_in_test_pipeline"
would be a possibility, but a little too complex.

Extension is almost the same thing as hook (sugary name change),
but can do anything during init, can insert multiple hooks
(to both main and test pipelines), read/change configuration
and use logs.

Good extension example is fetching tasks via RSYNC or GIT.

Added dummy task type

Update makefile

Add ConfigTree.fix, improve parse_file and use it in Eval.init

Played with the documentation

No real work done, really. Just fun.

Created a hyperlink! (and base docs for moe.eval)

Minor doc updates and fixes

Fixed syntactic typo in eval.py

Updated documentation and tidyed up eval.py

Updated INIT part of the timeline
Shifted some stuff in eval.py around
(re)Created Eval.run() (run in init did not make sense)

Made an observation:
  Tried porgrameer make many mitsakes.

Fidex several errors in log.py

several copy'n'paste errors, forgot to set the level, doc errors,
change main log Formatter

Rewriting eval.py with new log, config and timeline

Moving initializaton together, remaining init_* will be called from main pipeline
Most changes are moves and rewrites - the meaning did not change much
The actions are as listed in doc/timeline

Created documentation

Unsing Sphinx, restructured text
Updated documentation strings in config.py and config_parser.py
Makefile for running nosetests and building docs

Rewrite of moe.log using python logging

Bells, whistles, formatters, per-test logfiles included!

Renamed conf -> config, refactoring inside config

Added ConfigTree.parse and ConfigTree.parse_file
Minor global renaming changes inside parser and tests

Added shorthand access moe.ConfTree[key] to conf

Updated tests, added priority (levels) test

Fixed small error (which should manifest anyway)

Implemented varname as a shorthand for "{varname}"

Fixed: variable parsing at end of file
Updated grammar and tests, new test

Add unicode and file parsing test

Test variable fixing, update TODO

Fixed stupid order error in fixing

Sanitize by adding newlines detween defs

Implemented simple variable fixing.

Fix local import name

Config parser: added one forgotten WS

Several new tests, updated, all passed

Also covers all important code

Now moe module, update ConfigError, minor fix

New ConfigError subclasses, move re_VARNAME

Moved re_VARNAME to conf.py
Minor fix VARNAME checking in ConfigTree.lookup()

Fixed invalidating conditions and chained condition parsing

Fixed minor bug in conf condition eval

Fixed mismatch of params of eval(cl, depth)

Many fixes to config parser, many (passed) tests.

Not complete test coverage yet. See notes in conf.test.py

Fixed minor type typo

Included *.pyc to .gitignore

Config parser complete, but completely untested.

Dozens of bugs await!

Changes to config operations structure.

Changed config operaiton from triplets to a helper class,
added operation level (as priority) instead of index and
optional source. Changed dump format.
Removal now by operation instead of index.

Test updated and passed, but still not full coverage. WIP parser test.

Syntax constants localized to parser class.

Complete, but untested config parser.

Renamed VARNAME_re to re_VARNAME

Changed clause->formula in ConfigCondition, added formula pretty-printing

New file for conf parser, move and update conf file syntax

Added syntax for config files (to be reviewed)

Add TODO note obput fixing variables

Imporoved and shortened conf.py code

Removed subtrees, now only one namespace
Transparent variable creation upon lookup
Implemented general condition clauses (AND, OR, NOT, ==, !=)
Conditions now have 'parent' condition (containing condition block)
Variables refer to only one condition (and indirectly its parents)
Renamed get_value -> evaluate and evaluate -> value
Improved max-depth checking
Updated the test/example (still no conditions)
pprint replaced with dump (for consistency, but still returns an iterator)
Some dovumentation (with TODO's)

New module for config evaluation. Basic testing.

Implemented:
* Configuration tree,
* Variables,
* Variable-setting operations ('SET' and 'APPEND')
* Equality conditions (WIP, not tested yet),
* Substitution expressions with text and variables,
* Pretty-printing,
* Caching for variables and conditions with invalidation along reverse-dependencies,
* Add and remove operations from variables with correct reverse-dependency handling (add and remove)

TODO: smarter conditions, variable lookup (and maybe transparent creation),
possibly cleanup of unused variables and conditions

(tests full coverage except conditions)

Saved the example task

Better logging of exceptions

Make "+=" insert spaces as necessary

Removed config resolution caching

Implemented syntax checkers and output filters

Backward-compatible point files implemented

Unify names of exception variables

e.cfgs[x] can be shortened to e[x]

Judges can return single-line verdicts on stderr instead of producing a status file