Added functions for conversions from string to uns or uintmax_t .

libucw: Implemented Loging.Stream.FileDesc.

UCW::CGI -- fixed a bug in parsing of boundaries

Interpolating user-supplied strings inside regular expressions in unsafe, even
if /\Q...\E/ were used.

In this case, it fails when Webkit-based browsers send boundary strings
containing "+" characters.

Oprava URL v authors

Fixed bugs in sorter docs.

Improved building of centrum-sherlock-* packages.

* Added sherlock build system to centrum-sherlock-lib-dev.
* We now use custom INSTALL_*_DIR options to avoid replacing of paths everywhere.
* Resulting .tar.gz contains entire sherlock tree.

Added MAX_WORD_BYTES and MAX_WORD_CHARS to ucw/autoconf.h .

Made ucw/unaligned.h compatible with the worst programming language :-)
ucw/log.h added between exported headers.

Increased the version number of the developement branch.

Defined the position independent version of libcharset.

Just fixed a comment in libimages.

Do not leave any colorspace conversions to libjpeg and make them manually.

Store thumbnails in the YCbCr colorspace.

O_CLOEXEC is not always available on Linux, too

move strnlen() to ucw/string.c

add strnlen() which isn't available on Darwin

now all tests pass

make mainloop.c work on Darwin, where O_CLOEXEC is not available

I just if'ed out the new code.

version number changed to 4.0

Merge branch 'dev-lib'

Libucw: Fixed a bug in logging of 8-bit characters.

Make selfpipe read/write errors nonfatal

die in signal handler is unsafe and the errors should not cause anything
really bad anyway.

Fix the selfpipe in mainloop

Removed dependency on pipe2 (may be unavailable too), various fixes.

Solved mainloop race by selfpipe

A better solution would be using ppoll, but it is not generally
available. It will be detected and used if available soon.

Configure: Check for pkg-config before using it.

Config: Fixed an error message text.

The "include" command is no longer called "input".

Config: When cf_getopt() reports an error, do not commit config.

In such situations, the configuration sections need not be initialized
properly.

Updated years in all README's.

Forgot to update SHERLOCK_VERSION.

Config: If cf_def_file is NULL, initialize the configuration.

Otherwise we end up uninitialized clists and other nasty stuff. (The problems
were rarely visible, but the recent changes to conf-input.c have caused some
extra commits, which crashed when no configuration was loaded.)

This is a departure from the behavior of LibUCW 3.12, but I think we should
guarantee that after cf_getopt(), the configuration is always in a consistent
state, meaning that it has been initialized and committed. This should not
depend on whether the default config file was loaded or not.

On the other hand, program which avoid cf_getopt() and call cf_load() are on
their own, there is no implicit commit for them yet. Maybe this should be
fixed, too.

Logging: Following streams by stderr is now configurable.

Logging: A minor optimization of log_apply_limits().

Exit early if all types in the set are unknown.

Logging: Let log_new_file() and log_new_fd() accept flags.

This way, we can request a stream cloned to stderr (originally, this was
available only via log_file()) or a FD-based stream which closes the FD
upon closing.

Logging: Save the config file we use for testing of log-conf.c.

Logging: Document the configuration file.

Logging: Documented the rate limiters.

Logging: Write a note when some messages fall victim to limiting.

I was considering various shapes of this message. It is tempting to mention
the number of dropped messages, but that has to be done at the time of
an accepted message, which could be too late (the user might already have
wondered about the fate of the missing messages).

Second, I wanted to include a message type, but it would be misleading,
since a single limiter can apply to more types at once with a common bucket.

Logging: Let TBF report the number of dropped messages.

Logging: Add a couple of comments.

Logging: Added configurable limits.

Not tested yet.

Logging: Introduce LS_NUM_TYPES and use it.

Logging: Let log_msg contain the current time as a timeval, too.

Logging: Implemented rate limiting based on the Token Bucket Filter.

So far, it is a simple FP implementation. Maybe I will switch to integers later.

Logging: L_SIGHANDLER should be really safe.

I have realized that many operations performed by the log stream code are
either unsafe to call from signal handlers, subject to races between the
main program and its signal handlers, or subject to deadlocks when the
ucwlib_lock is taken.

I have therefore changed the semantics of L_SIGHANDLER to provide only
the minimal logging service: All sighandler messages are now logged to
stderr (which usually follows the main log file) and they are limited
to 255 characters (so that no dynamic allocation is performed).

Logging: Type-based filters and logging of type names are configurable.

Logging: Fixed a bug in formatting of types.

Logging: Implemented message types.

Logging: Fatality of logging errors is configurable.

Logging: The list of level names is consistent again.

I have moved the list to <ucw/lib.h>. It is needed only rarely, but at this
place we hopefully won't miss again it when changing the levels.

Logging: Fixed formatting when we have neither log_title nor log_pid.

Logging: Report logging errors.

Introduce an analogue of the infamous "Error while printing error message" :-)

When logging to a stream fails, the error is reported to the default stream,
but there are two precautions against infinite loops and floods of error
messages. First, we never report an error when logging of an error fails.
Second, we report only the first failure of a stream.

It is also possible to request program termination when logging fails.

Logging: Fixed a bug in log_close_all().

Under some circumstances (involving loops in substream structure),
log_close_all() crashed, because a stream could have become freed
when removing its substreams.

I have changed log_close_all() to unlink all substreams first and
then proceed with deallocating memory.

The same problem can never occur in simple log_close_stream(),
because a stream that is a part of a loop never gets a use count of 0.

Logging: Let log handlers return errno upon error.

Logging: Adapted the `logger' utility to the new numbering of levels.

Logging: Let the log level mask be configurable.

Config parser: Document :reset.

Config parser: Added a new operation `:reset', which is a shorthand
for `:clear' and `:append'.

I am not too confident about the name ... does anybody have a better idea?

Config parser: Let `:append' and `:prepend' on bitmaps be equivalent to `:set'.

Logging: Cleaned up documentation.

Logging: Let log_file() maintain proper use count of the stream.

Logging: Add log_configured() to set up the default log stream as configured.

Logging: Precise timestamps and syslog PID flag are now configurable.

Logging: Honor LSFMT_PID only when the PID is known.

Logging: Let the default log format follow previous libucw defaults.

Logging: Improved log-syslog.

It now accepts the name of the facility instead of the internal syslog code,
and also options for openlog(). Heavily commented on syslog deficiencies.

Logging: Mention closing logfiles before exec in the docs.

Logging: Let log_close_all() ASSERT that all references are gone.

Logging: A rough sketch of the logging configuration.

Typo in comment

ucw. docs: document single-line doc. comments

doc. system: Allow single-line comments before def

doc. system: Escape hashes and underscores

They were not properly escaped in symbol list, asciidoc did something
odd to them.

doc. system: Do not backslash name...

It puts the backslash there, not escapes the ellipsis.

doc. system: detect function pointer variables

Comment the magic extract functions

The regexps are hard to read, after some time. Comments what they do may
help parse them.

Logging: Removed duplicate comments.

A function should be documented at a single place, preferably in a header file.

Also removed a couple of comments at functions whose usage is perfectly
clear from their name.

Docs: Fixed a typo introduced by the previous commit.

More documentation of <ucw/lib.h> and <ucw/config.h>.

Still not complete.

Logging: Fix log_close_all().

Closing of streams and freeing of memory has to be separate since we introduced
use counts.

Logging: Documentation and minor cleanups of headers.

I have written complete documentation for the logging module. In the process,
I have performed a couple of minor cleanups:

   o  Internal declarations were moved to ucw/log-internal.h.
   o  Defines for "all" and "nothing" values have been removed, the customary
      constants `0' and `~0U' always work and they seem to be more readable.
   o  LSFLAG_SIGHANDLER gave its way to L_SIGHANDLER.
   o  The (unused) user flags field was replaced by a message type field;
      in the future, the streams will be able to filter the message based
      on a type.
   o  The `internal flags' field was renamed to `control bits'.

Logging: The first bits of documentation.

I have also introduced a documentation chapter for <ucw/lib.h>, but only
logging functions are described so far.

log_switch() and friends have been moved to <ucw/log.h>, they are used rarely.

Logging: Log file established log_file() is always dup'ed as stderr.

Previously, stderr was set only at the first open and we forgot to re-dup
it after switching log files.

I have also removed the logic in do_log_reopen() which tried to keep the fd
of the log file stable. Except for having stderr follow the log file, this
was of no use.

Logging: Added log_set_format() and log_default_stream().

Logging: Introduce inheritance of log_stream's.

The outbreak of various private fields (idata, pdata, udata) in struct log_stream
has gotten somewhat ugly, so I have replaced them by real private data allocated
after the standard portion of the log_stream structure.

log_new_stream() has gained a parameter telling it the size of the structure
to allocate. I have kept the recycler for the time being -- while saving allocations
is not worth the effort, it still nicely keeps the list of free stream ID's.

As idata are gone, the list of free items is now chained by log_stream->levels.

The default log stream no longer stores the fd explicitly, both log-file and
log-syslog keep private data in their own data structure extending log_stream.

Logging: LOG_STREAM_DEFAULT is no longer needed.

As we have un-constified log_stream_default, the casts are no longer
necessary, so I have removed the macro.

Logging: Introduce use counts on streams.

It turned out to be quite inconvenient to have to close the substreams in
topological order. I have introduced use counts on all streams: A newly
created stream has use count of 1, whenever it is used as a substream,
the use count increases; when the count drops to 0, the stream is
automatically destroyed.

A slightly unpleasant side-effect is that the default log stream
can no longer be constant, since we modify its counter.

I have also extended log_rm_substream() to remove all substreams
when what==NULL. This is useful in log_close_stream() and also
in log_file().

Logging: Improved documentation of struct log_stream.

Logging: Use LOG_STREAM_DEFAULT to refer to the default stream.

This keeps the casts removing constness hidden.

Logging: log_new_file() keeps its own copy of the path.

Logging: Implemented log_switch().

Logging: Introduced struct log_msg.

The logging handlers and filters are often interested in various properties
of the message in their raw form. I have modified the hooks to accept
a single pointer to `struct log_msg', which contains all needed information.

An immediate consequence is that we no longer need the calls to time() in
log-file, so a message is always timestamped at a single place when entering
the log machinery.

Logging: Resurrected the log_file() interface.

It is still useful for programs that use just a single log file. It creates
a new file stream and connects it as a substream of stream #0, replacing
the previous substreams.

Also keep fd #2 as a duplicate of the log file fd, so that errors of exec'd
programs will not be lost.

Logging: Rewritten the log-file module to implement log switching.

  o  log-file is a cross between the old libucw code and Tom's version.
  o  Introduced log_stream->udata for backend's flags.
  o  log_fork() moved to log.c.
  o  log_switch() and log_file() are not implemented yet.

Logging: Cleanup of log-syslog.c.

  o  Use a static array instead of switch() to translate log levels.
  o  Coding style and namespace cleanups.

Logging: Fixed a silly bug in my cleanup of log_new_stream().

Logging: Clean up log-stream.c.

  o  Simplified log_new_stream() -- recycling of closed streams
     and allocation of new streams are two different code paths now.
  o  The calls to log_init_module() need not be conditional.
  o  Use clist_init() for initializing clists.
  o  The usual coding style and namespace cleanups.

Also added an explanatory comment about the uninitialized state to log.c.

Logging: Cleanup of log.c

   o  log_progname[] moved to log_init()
   o  Both vmsg() and log_pass_msg() now allocate the buffer on the stack
      if the message is smaller than 256 bytes.
   o  log_pid is used instead of repeated calls to getpid()
   o  sizeof(array) always preferred over repeated constants
   o  Many coding style cleanups to make the old and new code fit together.
   o  Namespace cleanups
   o  Updated comments

Logging: Use `uns' instead of `u32' to pass flags.

Logging: The Great Shuffle

I have split the new logging machinery to several files and started merging
it with the old logger.

The intention behind the split is that programs which do not create their
own log streams should include only <ucw/lib.h> (which brings only the minimum
set of symbols) and link only a minimalistic library module, while the programs
in need of the full power of the new logger include <ucw/log.h> and link with
all log-* modules.

I have also started renaming `ls_*' to `log_*', but so far only at a couple
of places.

(Beware, most parts of the trees are currently left in an uncompilable
state. Use `make obj/ucw/log-t' for a working test program.)

Logging: Coding style cleanups.

Also removed a couple of unused variables.

Logging: Added a toy main() and plugged in the Makefile.