t/moe/log.py

   1 #!/usr/bin/env python
   2
   3 """
   4
   5 `Loggers` is a collection of logggers for :class:`~moe.eval.Eval`, initializing 4 subloggers (see class description).
   6
   7 Use as `e.log.debug(...)` for main log that goes both to `test` and `main` log,
   8 `e.log.test.debug(...)` for individual logs.
   9
  10 .. :data:: DDEBUG = 5
  11         Very verbose debugging level
  12
  13 """
  14
  15
  16 import sys, os
  17 import logging
  18 from logging import Logger, StreamHandler, Formatter
  19
  20 logging.addLevelName(5,'DDEBUG')
  21
  22
  23 class Loggers(Logger):
  24   """Defines several logs:
  25
  26   `self`
  27     root log, which sends messages to `eval` and `test` logs
  28   `self.eval`
  29     main log, initially a duplicated fd 2 (stderr)
  30   `self.user`
  31     public progress log, initially a duplicated fd 1 (stdout)
  32   `self.test`
  33     per-test log, initially no handler, to be directed to file like `{TEST}.log`
  34
  35   .. note:: Currently, the logs and fd's get never closed.
  36   .. warning:: `Loggers.open_eval_log` changes global fd's 1 and 2 by default.
  37   """
  38   def __init__(self):
  39     "Initialize loggers as described in class description."
  40     Logger.__init__(self, '')
  41     # Duplicate the fd's
  42     self.orig_stdout_fd = os.dup(1)
  43     self.orig_stdout_file = os.fdopen(self.orig_stdout_fd, 'w', 0)
  44     self.orig_stderr_fd = os.dup(2)
  45     self.orig_stderr_file = os.fdopen(self.orig_stderr_fd, 'w', 0)
  46     # Eval main logger
  47     self.eval = Logger('eval')
  48     self.eval.addHandler(StreamHandler(self.orig_stderr_file))
  49     # per-test logger
  50     self.test = Logger('test')
  51     self.test_handler = None
  52     self.test_file = None
  53     # user progress logger
  54     self.user = Logger('user')
  55     self.user.addHandler(StreamHandler(self.orig_stdout_file))
  56
  57     self.addHandler(self.test)
  58     self.addHandler(self.eval)
  59     self.debug('Logging initialized.')
  60
  61   def open_user_log(self, filename, level=logging.INFO):
  62     """Open user (progress) logfile. Leaves logging to stdout active."""
  63     h = StreamHandler(open(filename, 'w', 0))
  64     h.setFormatter(Formatter('%(message)s'))
  65     self.user.setLevel(level)
  66     self.user.addHandler(h)
  67     self.user.debug('Logging started')
  68
  69   def open_eval_log(self, filename, level, redirect_fds = True):
  70     """Open main logfile.
  71     Leaves logging to stderr active. If told to, redirects fd's 1 and 2 to this file.
  72     Sets level of both `self.eval` and `self`."""
  73     self.eval_file = open(filename, 'w', 0)
  74     self.eval_handler = StreamHandler(self.eval_file)
  75     self.eval_handler.setFormatter(Formatter('%(asctime)s [%(levelno)s] %(message)s'))
  76     self.eval.addHandler(self.eval_handler)
  77     if redirect_fds:
  78       os.dup2(self.eval_file.fileno(), 1)
  79       os.dup2(self.eval_file.fileno(), 2)
  80     self.eval.setLevel(level)
  81     self.setLevel(level)
  82     self.eval.debug('Logging started')
  83
  84
  85   def open_test_log(self, filename, level):
  86     """Open per-test log file, like "{TEST}.log". Also set handler level to `level`."""
  87     self.debug('Opening per-test log %s' % filename)
  88     if self.test_handler:
  89       self.close_test_log()
  90     self.test_file = open(filename, 'w')
  91     self.test_handler = StreamHandler(self.test_file)
  92     self.test.addHandler(self.test_handler)
  93     self.test.setLevel(level)
  94     self.test_handler.setFormatter(Formatter('%(asctime)s [%(levelno)s] %(message)s'))
  95     self.test.debug('Logging started')
  96
  97   def close_test_log(self):
  98     """Close per-test logfile, leaving only the null handler."""
  99     if self.test_handler:
 100       self.test.info('Closing logfile' % filename)
 101       self.test.removeHandler(self.test_handler)
 102     self.test_handler = None
 103     self.test_file.close()
 104
 105   def ddebug(self, msg, *args, **kwargs):
 106     """Log with priority 5 (normal DEBUG is 10)"""
 107     self.log(5, msg, *args, **kwargs)