Logging: Introduce LS_NUM_TYPES and use it.

Logging: Let log_msg contain the current time as a timeval, too.

Logging: Implemented rate limiting based on the Token Bucket Filter.

So far, it is a simple FP implementation. Maybe I will switch to integers later.

Logging: L_SIGHANDLER should be really safe.

I have realized that many operations performed by the log stream code are
either unsafe to call from signal handlers, subject to races between the
main program and its signal handlers, or subject to deadlocks when the
ucwlib_lock is taken.

I have therefore changed the semantics of L_SIGHANDLER to provide only
the minimal logging service: All sighandler messages are now logged to
stderr (which usually follows the main log file) and they are limited
to 255 characters (so that no dynamic allocation is performed).

Logging: Type-based filters and logging of type names are configurable.

Logging: Fixed a bug in formatting of types.

Logging: Implemented message types.

Logging: Fatality of logging errors is configurable.

Logging: The list of level names is consistent again.

I have moved the list to <ucw/lib.h>. It is needed only rarely, but at this
place we hopefully won't miss again it when changing the levels.

Logging: Fixed formatting when we have neither log_title nor log_pid.

Logging: Report logging errors.

Introduce an analogue of the infamous "Error while printing error message" :-)

When logging to a stream fails, the error is reported to the default stream,
but there are two precautions against infinite loops and floods of error
messages. First, we never report an error when logging of an error fails.
Second, we report only the first failure of a stream.

It is also possible to request program termination when logging fails.

Logging: Fixed a bug in log_close_all().

Under some circumstances (involving loops in substream structure),
log_close_all() crashed, because a stream could have become freed
when removing its substreams.

I have changed log_close_all() to unlink all substreams first and
then proceed with deallocating memory.

The same problem can never occur in simple log_close_stream(),
because a stream that is a part of a loop never gets a use count of 0.

Logging: Let log handlers return errno upon error.

Logging: Adapted the `logger' utility to the new numbering of levels.

Logging: Let the log level mask be configurable.

Config parser: Document :reset.

Config parser: Added a new operation `:reset', which is a shorthand
for `:clear' and `:append'.

I am not too confident about the name ... does anybody have a better idea?

Config parser: Let `:append' and `:prepend' on bitmaps be equivalent to `:set'.

Logging: Cleaned up documentation.

Logging: Let log_file() maintain proper use count of the stream.

Logging: Add log_configured() to set up the default log stream as configured.

Logging: Precise timestamps and syslog PID flag are now configurable.

Logging: Honor LSFMT_PID only when the PID is known.

Logging: Let the default log format follow previous libucw defaults.

Logging: Improved log-syslog.

It now accepts the name of the facility instead of the internal syslog code,
and also options for openlog(). Heavily commented on syslog deficiencies.

Logging: Mention closing logfiles before exec in the docs.

Logging: Let log_close_all() ASSERT that all references are gone.

Logging: A rough sketch of the logging configuration.

Typo in comment

ucw. docs: document single-line doc. comments

doc. system: Allow single-line comments before def

doc. system: Escape hashes and underscores

They were not properly escaped in symbol list, asciidoc did something
odd to them.

doc. system: Do not backslash name...

It puts the backslash there, not escapes the ellipsis.

doc. system: detect function pointer variables

Comment the magic extract functions

The regexps are hard to read, after some time. Comments what they do may
help parse them.

Logging: Removed duplicate comments.

A function should be documented at a single place, preferably in a header file.

Also removed a couple of comments at functions whose usage is perfectly
clear from their name.

Docs: Fixed a typo introduced by the previous commit.

More documentation of <ucw/lib.h> and <ucw/config.h>.

Still not complete.

Logging: Fix log_close_all().

Closing of streams and freeing of memory has to be separate since we introduced
use counts.

Logging: Documentation and minor cleanups of headers.

I have written complete documentation for the logging module. In the process,
I have performed a couple of minor cleanups:

   o  Internal declarations were moved to ucw/log-internal.h.
   o  Defines for "all" and "nothing" values have been removed, the customary
      constants `0' and `~0U' always work and they seem to be more readable.
   o  LSFLAG_SIGHANDLER gave its way to L_SIGHANDLER.
   o  The (unused) user flags field was replaced by a message type field;
      in the future, the streams will be able to filter the message based
      on a type.
   o  The `internal flags' field was renamed to `control bits'.

Logging: The first bits of documentation.

I have also introduced a documentation chapter for <ucw/lib.h>, but only
logging functions are described so far.

log_switch() and friends have been moved to <ucw/log.h>, they are used rarely.

Logging: Log file established log_file() is always dup'ed as stderr.

Previously, stderr was set only at the first open and we forgot to re-dup
it after switching log files.

I have also removed the logic in do_log_reopen() which tried to keep the fd
of the log file stable. Except for having stderr follow the log file, this
was of no use.

Logging: Added log_set_format() and log_default_stream().

Logging: Introduce inheritance of log_stream's.

The outbreak of various private fields (idata, pdata, udata) in struct log_stream
has gotten somewhat ugly, so I have replaced them by real private data allocated
after the standard portion of the log_stream structure.

log_new_stream() has gained a parameter telling it the size of the structure
to allocate. I have kept the recycler for the time being -- while saving allocations
is not worth the effort, it still nicely keeps the list of free stream ID's.

As idata are gone, the list of free items is now chained by log_stream->levels.

The default log stream no longer stores the fd explicitly, both log-file and
log-syslog keep private data in their own data structure extending log_stream.

Logging: LOG_STREAM_DEFAULT is no longer needed.

As we have un-constified log_stream_default, the casts are no longer
necessary, so I have removed the macro.

Logging: Introduce use counts on streams.

It turned out to be quite inconvenient to have to close the substreams in
topological order. I have introduced use counts on all streams: A newly
created stream has use count of 1, whenever it is used as a substream,
the use count increases; when the count drops to 0, the stream is
automatically destroyed.

A slightly unpleasant side-effect is that the default log stream
can no longer be constant, since we modify its counter.

I have also extended log_rm_substream() to remove all substreams
when what==NULL. This is useful in log_close_stream() and also
in log_file().

Logging: Improved documentation of struct log_stream.

Logging: Use LOG_STREAM_DEFAULT to refer to the default stream.

This keeps the casts removing constness hidden.

Logging: log_new_file() keeps its own copy of the path.

Logging: Implemented log_switch().

Logging: Introduced struct log_msg.

The logging handlers and filters are often interested in various properties
of the message in their raw form. I have modified the hooks to accept
a single pointer to `struct log_msg', which contains all needed information.

An immediate consequence is that we no longer need the calls to time() in
log-file, so a message is always timestamped at a single place when entering
the log machinery.

Logging: Resurrected the log_file() interface.

It is still useful for programs that use just a single log file. It creates
a new file stream and connects it as a substream of stream #0, replacing
the previous substreams.

Also keep fd #2 as a duplicate of the log file fd, so that errors of exec'd
programs will not be lost.

Logging: Rewritten the log-file module to implement log switching.

  o  log-file is a cross between the old libucw code and Tom's version.
  o  Introduced log_stream->udata for backend's flags.
  o  log_fork() moved to log.c.
  o  log_switch() and log_file() are not implemented yet.

Logging: Cleanup of log-syslog.c.

  o  Use a static array instead of switch() to translate log levels.
  o  Coding style and namespace cleanups.

Logging: Fixed a silly bug in my cleanup of log_new_stream().

Logging: Clean up log-stream.c.

  o  Simplified log_new_stream() -- recycling of closed streams
     and allocation of new streams are two different code paths now.
  o  The calls to log_init_module() need not be conditional.
  o  Use clist_init() for initializing clists.
  o  The usual coding style and namespace cleanups.

Also added an explanatory comment about the uninitialized state to log.c.

Logging: Cleanup of log.c

   o  log_progname[] moved to log_init()
   o  Both vmsg() and log_pass_msg() now allocate the buffer on the stack
      if the message is smaller than 256 bytes.
   o  log_pid is used instead of repeated calls to getpid()
   o  sizeof(array) always preferred over repeated constants
   o  Many coding style cleanups to make the old and new code fit together.
   o  Namespace cleanups
   o  Updated comments

Logging: Use `uns' instead of `u32' to pass flags.

Logging: The Great Shuffle

I have split the new logging machinery to several files and started merging
it with the old logger.

The intention behind the split is that programs which do not create their
own log streams should include only <ucw/lib.h> (which brings only the minimum
set of symbols) and link only a minimalistic library module, while the programs
in need of the full power of the new logger include <ucw/log.h> and link with
all log-* modules.

I have also started renaming `ls_*' to `log_*', but so far only at a couple
of places.

(Beware, most parts of the trees are currently left in an uncompilable
state. Use `make obj/ucw/log-t' for a working test program.)

Logging: Coding style cleanups.

Also removed a couple of unused variables.

Logging: Added a toy main() and plugged in the Makefile.

Logging: Fixed a typo.

Logging: Whitespace cleanup before I start editing.

Logging: Added the initial implementation of log streams
by Tomas Gavenciak <gavento@ucw.cz>.

Improve documentation of cf_reload().

LibUCW: Let cf_reload() reload all configuration files.

When a program is started with `-C' and/or `-S' switches to override the
default configuration and cf_reload() was called afterwards, it destroyed
the custom configuration and loaded the default instead.

To avoid this problem, I have added a list of configuration entries which
remembers all config files loaded and all configuration fragments executed,
as long as they are performed in the `postpone_commit' mode. The reloader
then re-executes all these operations and it records them in the new pool.

LibUCW: Added a function for assigning lists.

Fixed constness warnings in conf-test.

Build: Let CONFIG_SRC_DIR default to CONFIG_DIR.

Removed CONFIG_DIR, which got introduced by a mistake in the merge of dev-lib.

changed OFFSETOF again

fix OFFSET_OF on 64-bit architectures

Merge branch 'master' into dev-lib

Conflicts:
build/Maketop
ucw/perl/UCW/Configure/C.pm

make page_alloc(0) work

fix partmap_load(size=0), because mmap fails on that since Linux 2.6.12

fix partmap_load() on amd64 with CONFIG_PARTMAP_IS_MMAP

I don't understand how this could ever have worked.  the left-hand side is -1
and is never larger than right-hand side when comparing signed values.

UCW mainloop: Accumulate the total time spent in poll() into main_idle_time.

URLs: Fixed some broken comparisons of possibly signed chars.

(It was causing failures in Shepherd.)

Fixed accidentally modified files during the last merge.

Merge branch 'v3.12.4'

Conflicts:

centrum/cz/cf/watson
centrum/cz/doc/provoz.wiki
lib/Makefile
search/refs.c
ucw/default.cfg
ucw/perl/UCW/Configure/C.pm

Moved setting of CONFIG_DIR to defaults.cfg.

UCW Configure: Evaluate INSTALL_xxx at time of configuration.

It is often necessary to substitute the paths to C sources and config
files, so they must be fully expanded and free of constructs specific
for the makefile language.

Also, we need CONFIG_DIR at the time of configuration.

clists: improve doc.

SHA1: Added stream interface for the HMAC, too.

ucw docs: language tweak

ucw docs: hashtables

Rename CONFIG_LANG to CONFIG_LIBLANG

The switch used to enable compilation of liblang was colliding with one
of older switches to enable some of its functionality.

Fix config directory names in build system

The destination directory does not have to have the same name as the
source one and the source one does not have to be 'cf' all the time (in
the libsonly package, it isn't).

ucw docs: external sorter

ucw docs: Array sorter

ucw docs: Simple array sorter

Libucw: Implemented HEAP_DECREASE. Fixed description of HEAP_INSERT.

Fixed a bug in mp_printf_append(). Thanks to Dan.

Remove left-over NOP code

Better error message for missing fb-direct

Tells how it got disabled.

Better names for direct IO switches

CONFIG_DIRECT_IO to allow/disallow use of direct IO. Auto-disabled on
darwin.

CONFIG_UCW_FB_DIRECT to include/exclude fb-direct. Available only with
CONFIG_DIRECT_IO and CONFIG_UCW_THREADS.

Debug utilities have O_DIRECT hardcoded manually

Cosmetics.

Handle when O_DIRECT is not available

Export fb-direct functions only when turned on