Logger: Shut up re-initialization warning of GCC 4.3

Build: libshxml compiles

Removed doc/conf*, they have been superseded by ucw/doc/conf*.

A partial build system

Compiles everything except for libshxml.

Get rid of SHERLOCK_VERSION and use UCW_VERSION everywhere

Cleanup: Moved config files to etc/

Added .gitignore

Charset: imported cs2cs from Sherlock, does not compile yet

Imported doc/config{,ure} from Sherlock

Cleanup: Moved libshxml to shxml/

Cleanup: Moved sorter debugging tools to ucw/sorter/debug/

Cleanup: Fixed comment

Cleanup: Fixed comments in config files

Cleanup: Removed build/installer

It was specific for Sherlock.

UCW: Cosmetic cleanups of strtonum

libucw: Fixed infinite recursion in str_to_int().

mainloop: Small fixes in hooks.

mainloop: Optimized heaps in timers.

mainloop: Rewritten timers from clist to heap.

mainloop: Improved deletion and insertion of hooks.

It is now guaranted that:
* You can safely remove hook anytime, even from other hook.
* Newly inserted hook will be called at least once before next sleep.

mainloop: Fixed possible infinite timeouts.

Fixed a typo in the list of includes. Has anybody compiled the full tree recently? ;)

Typo.

strtonum: Fixed minor errors.
  * Removed declarations of undefined conversion functions.
  * Added inline conversion functions for signed integers.
  * Moved branche for checking whether number is terminated by 0 character.

Added functions for conversions from string to uns or uintmax_t .

libucw: Implemented Loging.Stream.FileDesc.

UCW::CGI -- fixed a bug in parsing of boundaries

Interpolating user-supplied strings inside regular expressions in unsafe, even
if /\Q...\E/ were used.

In this case, it fails when Webkit-based browsers send boundary strings
containing "+" characters.

Oprava URL v authors

Fixed bugs in sorter docs.

Improved building of centrum-sherlock-* packages.

* Added sherlock build system to centrum-sherlock-lib-dev.
* We now use custom INSTALL_*_DIR options to avoid replacing of paths everywhere.
* Resulting .tar.gz contains entire sherlock tree.

Added MAX_WORD_BYTES and MAX_WORD_CHARS to ucw/autoconf.h .

Made ucw/unaligned.h compatible with the worst programming language :-)
ucw/log.h added between exported headers.

Increased the version number of the developement branch.

Defined the position independent version of libcharset.

Just fixed a comment in libimages.

Do not leave any colorspace conversions to libjpeg and make them manually.

Store thumbnails in the YCbCr colorspace.

O_CLOEXEC is not always available on Linux, too

move strnlen() to ucw/string.c

add strnlen() which isn't available on Darwin

now all tests pass

make mainloop.c work on Darwin, where O_CLOEXEC is not available

I just if'ed out the new code.

version number changed to 4.0

Merge branch 'dev-lib'

Libucw: Fixed a bug in logging of 8-bit characters.

Make selfpipe read/write errors nonfatal

die in signal handler is unsafe and the errors should not cause anything
really bad anyway.

Fix the selfpipe in mainloop

Removed dependency on pipe2 (may be unavailable too), various fixes.

Solved mainloop race by selfpipe

A better solution would be using ppoll, but it is not generally
available. It will be detected and used if available soon.

Configure: Check for pkg-config before using it.

Config: Fixed an error message text.

The "include" command is no longer called "input".

Config: When cf_getopt() reports an error, do not commit config.

In such situations, the configuration sections need not be initialized
properly.

Updated years in all README's.

Forgot to update SHERLOCK_VERSION.

Config: If cf_def_file is NULL, initialize the configuration.

Otherwise we end up uninitialized clists and other nasty stuff. (The problems
were rarely visible, but the recent changes to conf-input.c have caused some
extra commits, which crashed when no configuration was loaded.)

This is a departure from the behavior of LibUCW 3.12, but I think we should
guarantee that after cf_getopt(), the configuration is always in a consistent
state, meaning that it has been initialized and committed. This should not
depend on whether the default config file was loaded or not.

On the other hand, program which avoid cf_getopt() and call cf_load() are on
their own, there is no implicit commit for them yet. Maybe this should be
fixed, too.

Logging: Following streams by stderr is now configurable.

Logging: A minor optimization of log_apply_limits().

Exit early if all types in the set are unknown.

Logging: Let log_new_file() and log_new_fd() accept flags.

This way, we can request a stream cloned to stderr (originally, this was
available only via log_file()) or a FD-based stream which closes the FD
upon closing.

Logging: Save the config file we use for testing of log-conf.c.

Logging: Document the configuration file.

Logging: Documented the rate limiters.

Logging: Write a note when some messages fall victim to limiting.

I was considering various shapes of this message. It is tempting to mention
the number of dropped messages, but that has to be done at the time of
an accepted message, which could be too late (the user might already have
wondered about the fate of the missing messages).

Second, I wanted to include a message type, but it would be misleading,
since a single limiter can apply to more types at once with a common bucket.

Logging: Let TBF report the number of dropped messages.

Logging: Add a couple of comments.

Logging: Added configurable limits.

Not tested yet.

Logging: Introduce LS_NUM_TYPES and use it.

Logging: Let log_msg contain the current time as a timeval, too.

Logging: Implemented rate limiting based on the Token Bucket Filter.

So far, it is a simple FP implementation. Maybe I will switch to integers later.

Logging: L_SIGHANDLER should be really safe.

I have realized that many operations performed by the log stream code are
either unsafe to call from signal handlers, subject to races between the
main program and its signal handlers, or subject to deadlocks when the
ucwlib_lock is taken.

I have therefore changed the semantics of L_SIGHANDLER to provide only
the minimal logging service: All sighandler messages are now logged to
stderr (which usually follows the main log file) and they are limited
to 255 characters (so that no dynamic allocation is performed).

Logging: Type-based filters and logging of type names are configurable.

Logging: Fixed a bug in formatting of types.

Logging: Implemented message types.

Logging: Fatality of logging errors is configurable.

Logging: The list of level names is consistent again.

I have moved the list to <ucw/lib.h>. It is needed only rarely, but at this
place we hopefully won't miss again it when changing the levels.

Logging: Fixed formatting when we have neither log_title nor log_pid.

Logging: Report logging errors.

Introduce an analogue of the infamous "Error while printing error message" :-)

When logging to a stream fails, the error is reported to the default stream,
but there are two precautions against infinite loops and floods of error
messages. First, we never report an error when logging of an error fails.
Second, we report only the first failure of a stream.

It is also possible to request program termination when logging fails.

Logging: Fixed a bug in log_close_all().

Under some circumstances (involving loops in substream structure),
log_close_all() crashed, because a stream could have become freed
when removing its substreams.

I have changed log_close_all() to unlink all substreams first and
then proceed with deallocating memory.

The same problem can never occur in simple log_close_stream(),
because a stream that is a part of a loop never gets a use count of 0.

Logging: Let log handlers return errno upon error.

Logging: Adapted the `logger' utility to the new numbering of levels.

Logging: Let the log level mask be configurable.

Config parser: Document :reset.

Config parser: Added a new operation `:reset', which is a shorthand
for `:clear' and `:append'.

I am not too confident about the name ... does anybody have a better idea?

Config parser: Let `:append' and `:prepend' on bitmaps be equivalent to `:set'.

Logging: Cleaned up documentation.

Logging: Let log_file() maintain proper use count of the stream.

Logging: Add log_configured() to set up the default log stream as configured.

Logging: Precise timestamps and syslog PID flag are now configurable.

Logging: Honor LSFMT_PID only when the PID is known.

Logging: Let the default log format follow previous libucw defaults.

Logging: Improved log-syslog.

It now accepts the name of the facility instead of the internal syslog code,
and also options for openlog(). Heavily commented on syslog deficiencies.

Logging: Mention closing logfiles before exec in the docs.

Logging: Let log_close_all() ASSERT that all references are gone.

Logging: A rough sketch of the logging configuration.

Typo in comment

ucw. docs: document single-line doc. comments

doc. system: Allow single-line comments before def

doc. system: Escape hashes and underscores

They were not properly escaped in symbol list, asciidoc did something
odd to them.

doc. system: Do not backslash name...

It puts the backslash there, not escapes the ellipsis.

doc. system: detect function pointer variables

Comment the magic extract functions

The regexps are hard to read, after some time. Comments what they do may
help parse them.

Logging: Removed duplicate comments.

A function should be documented at a single place, preferably in a header file.

Also removed a couple of comments at functions whose usage is perfectly
clear from their name.

Docs: Fixed a typo introduced by the previous commit.