Typo in comment

ucw. docs: document single-line doc. comments

doc. system: Allow single-line comments before def

doc. system: Escape hashes and underscores

They were not properly escaped in symbol list, asciidoc did something
odd to them.

doc. system: Do not backslash name...

It puts the backslash there, not escapes the ellipsis.

doc. system: detect function pointer variables

Comment the magic extract functions

The regexps are hard to read, after some time. Comments what they do may
help parse them.

Logging: Removed duplicate comments.

A function should be documented at a single place, preferably in a header file.

Also removed a couple of comments at functions whose usage is perfectly
clear from their name.

Docs: Fixed a typo introduced by the previous commit.

More documentation of <ucw/lib.h> and <ucw/config.h>.

Still not complete.

Logging: Fix log_close_all().

Closing of streams and freeing of memory has to be separate since we introduced
use counts.

Logging: Documentation and minor cleanups of headers.

I have written complete documentation for the logging module. In the process,
I have performed a couple of minor cleanups:

   o  Internal declarations were moved to ucw/log-internal.h.
   o  Defines for "all" and "nothing" values have been removed, the customary
      constants `0' and `~0U' always work and they seem to be more readable.
   o  LSFLAG_SIGHANDLER gave its way to L_SIGHANDLER.
   o  The (unused) user flags field was replaced by a message type field;
      in the future, the streams will be able to filter the message based
      on a type.
   o  The `internal flags' field was renamed to `control bits'.

Logging: The first bits of documentation.

I have also introduced a documentation chapter for <ucw/lib.h>, but only
logging functions are described so far.

log_switch() and friends have been moved to <ucw/log.h>, they are used rarely.

Logging: Log file established log_file() is always dup'ed as stderr.

Previously, stderr was set only at the first open and we forgot to re-dup
it after switching log files.

I have also removed the logic in do_log_reopen() which tried to keep the fd
of the log file stable. Except for having stderr follow the log file, this
was of no use.

Logging: Added log_set_format() and log_default_stream().

Logging: Introduce inheritance of log_stream's.

The outbreak of various private fields (idata, pdata, udata) in struct log_stream
has gotten somewhat ugly, so I have replaced them by real private data allocated
after the standard portion of the log_stream structure.

log_new_stream() has gained a parameter telling it the size of the structure
to allocate. I have kept the recycler for the time being -- while saving allocations
is not worth the effort, it still nicely keeps the list of free stream ID's.

As idata are gone, the list of free items is now chained by log_stream->levels.

The default log stream no longer stores the fd explicitly, both log-file and
log-syslog keep private data in their own data structure extending log_stream.

Logging: LOG_STREAM_DEFAULT is no longer needed.

As we have un-constified log_stream_default, the casts are no longer
necessary, so I have removed the macro.

Logging: Introduce use counts on streams.

It turned out to be quite inconvenient to have to close the substreams in
topological order. I have introduced use counts on all streams: A newly
created stream has use count of 1, whenever it is used as a substream,
the use count increases; when the count drops to 0, the stream is
automatically destroyed.

A slightly unpleasant side-effect is that the default log stream
can no longer be constant, since we modify its counter.

I have also extended log_rm_substream() to remove all substreams
when what==NULL. This is useful in log_close_stream() and also
in log_file().

Logging: Improved documentation of struct log_stream.

Logging: Use LOG_STREAM_DEFAULT to refer to the default stream.

This keeps the casts removing constness hidden.

Logging: log_new_file() keeps its own copy of the path.

Logging: Implemented log_switch().

Logging: Introduced struct log_msg.

The logging handlers and filters are often interested in various properties
of the message in their raw form. I have modified the hooks to accept
a single pointer to `struct log_msg', which contains all needed information.

An immediate consequence is that we no longer need the calls to time() in
log-file, so a message is always timestamped at a single place when entering
the log machinery.

Logging: Resurrected the log_file() interface.

It is still useful for programs that use just a single log file. It creates
a new file stream and connects it as a substream of stream #0, replacing
the previous substreams.

Also keep fd #2 as a duplicate of the log file fd, so that errors of exec'd
programs will not be lost.

Logging: Rewritten the log-file module to implement log switching.

  o  log-file is a cross between the old libucw code and Tom's version.
  o  Introduced log_stream->udata for backend's flags.
  o  log_fork() moved to log.c.
  o  log_switch() and log_file() are not implemented yet.

Logging: Cleanup of log-syslog.c.

  o  Use a static array instead of switch() to translate log levels.
  o  Coding style and namespace cleanups.

Logging: Fixed a silly bug in my cleanup of log_new_stream().

Logging: Clean up log-stream.c.

  o  Simplified log_new_stream() -- recycling of closed streams
     and allocation of new streams are two different code paths now.
  o  The calls to log_init_module() need not be conditional.
  o  Use clist_init() for initializing clists.
  o  The usual coding style and namespace cleanups.

Also added an explanatory comment about the uninitialized state to log.c.

Logging: Cleanup of log.c

   o  log_progname[] moved to log_init()
   o  Both vmsg() and log_pass_msg() now allocate the buffer on the stack
      if the message is smaller than 256 bytes.
   o  log_pid is used instead of repeated calls to getpid()
   o  sizeof(array) always preferred over repeated constants
   o  Many coding style cleanups to make the old and new code fit together.
   o  Namespace cleanups
   o  Updated comments

Logging: Use `uns' instead of `u32' to pass flags.

Logging: The Great Shuffle

I have split the new logging machinery to several files and started merging
it with the old logger.

The intention behind the split is that programs which do not create their
own log streams should include only <ucw/lib.h> (which brings only the minimum
set of symbols) and link only a minimalistic library module, while the programs
in need of the full power of the new logger include <ucw/log.h> and link with
all log-* modules.

I have also started renaming `ls_*' to `log_*', but so far only at a couple
of places.

(Beware, most parts of the trees are currently left in an uncompilable
state. Use `make obj/ucw/log-t' for a working test program.)

Logging: Coding style cleanups.

Also removed a couple of unused variables.

Logging: Added a toy main() and plugged in the Makefile.

Logging: Fixed a typo.

Logging: Whitespace cleanup before I start editing.

Logging: Added the initial implementation of log streams
by Tomas Gavenciak <gavento@ucw.cz>.

Improve documentation of cf_reload().

LibUCW: Let cf_reload() reload all configuration files.

When a program is started with `-C' and/or `-S' switches to override the
default configuration and cf_reload() was called afterwards, it destroyed
the custom configuration and loaded the default instead.

To avoid this problem, I have added a list of configuration entries which
remembers all config files loaded and all configuration fragments executed,
as long as they are performed in the `postpone_commit' mode. The reloader
then re-executes all these operations and it records them in the new pool.

LibUCW: Added a function for assigning lists.

Fixed constness warnings in conf-test.

Build: Let CONFIG_SRC_DIR default to CONFIG_DIR.

Removed CONFIG_DIR, which got introduced by a mistake in the merge of dev-lib.

changed OFFSETOF again

fix OFFSET_OF on 64-bit architectures

Merge branch 'master' into dev-lib

Conflicts:
build/Maketop
ucw/perl/UCW/Configure/C.pm

make page_alloc(0) work

fix partmap_load(size=0), because mmap fails on that since Linux 2.6.12

fix partmap_load() on amd64 with CONFIG_PARTMAP_IS_MMAP

I don't understand how this could ever have worked.  the left-hand side is -1
and is never larger than right-hand side when comparing signed values.

UCW mainloop: Accumulate the total time spent in poll() into main_idle_time.

URLs: Fixed some broken comparisons of possibly signed chars.

(It was causing failures in Shepherd.)

Fixed accidentally modified files during the last merge.

Merge branch 'v3.12.4'

Conflicts:

centrum/cz/cf/watson
centrum/cz/doc/provoz.wiki
lib/Makefile
search/refs.c
ucw/default.cfg
ucw/perl/UCW/Configure/C.pm

Moved setting of CONFIG_DIR to defaults.cfg.

UCW Configure: Evaluate INSTALL_xxx at time of configuration.

It is often necessary to substitute the paths to C sources and config
files, so they must be fully expanded and free of constructs specific
for the makefile language.

Also, we need CONFIG_DIR at the time of configuration.

clists: improve doc.

SHA1: Added stream interface for the HMAC, too.

ucw docs: language tweak

ucw docs: hashtables

Rename CONFIG_LANG to CONFIG_LIBLANG

The switch used to enable compilation of liblang was colliding with one
of older switches to enable some of its functionality.

Fix config directory names in build system

The destination directory does not have to have the same name as the
source one and the source one does not have to be 'cf' all the time (in
the libsonly package, it isn't).

ucw docs: external sorter

ucw docs: Array sorter

ucw docs: Simple array sorter

Libucw: Implemented HEAP_DECREASE. Fixed description of HEAP_INSERT.

Fixed a bug in mp_printf_append(). Thanks to Dan.

Remove left-over NOP code

Better error message for missing fb-direct

Tells how it got disabled.

Better names for direct IO switches

CONFIG_DIRECT_IO to allow/disallow use of direct IO. Auto-disabled on
darwin.

CONFIG_UCW_FB_DIRECT to include/exclude fb-direct. Available only with
CONFIG_DIRECT_IO and CONFIG_UCW_THREADS.

Debug utilities have O_DIRECT hardcoded manually

Cosmetics.

Handle when O_DIRECT is not available

Export fb-direct functions only when turned on

Turn off CONFIG_DIRECT when needed

Added switch CONFIG_DIRECT

Turns on and off if fb-direct is compiled.

Doc. system: remove doc. symlinks upon clean

Revert "Fail when O_DIRECT requested on Darwin"

This reverts commit 484b0b2bba9332f2a186d05222b03d013cb0630a.

It made no sense.

fix installer on Darwin

cp doesn't support -a, so I've expanded it in terms of its equivalent
parameters.  sorry for all these obstructions...

fix building shared libraries on Darwin

this is a bit of a hack, but it shouldn't have any influence on Linux

Fail when O_DIRECT requested on Darwin

Darwin does not support direct IO.

make Sherlock compilable on Darwin without hacks due to missing direct IO

I define O_DIRECT flag to be 0 on Darwin, hence enabling direct IO will
have no effect.  This ignoring will be silent.  A clean solution (with
failure when enabled by the user) would be much more complicated and I just
wanna make Sherlock compilable on Darwin for desktop/debugging usage.

Remove the random text that got somehow inside

ucw docs: lizard_decompress_save update

Describes more clearly, why it exists and that it is not reentrant.

clean up linking -lpcre to libucw

fixing my previous patch according to MJ's comments

make regex and asciidoc work on Darwin without hacking

- use $(PREFIX) when accessing files in /etc/asciidoc/...
  on Darwin, we use /sw
- remove obsolete reference to internal regex library
- configure script makes sure the BSD library isn't used on Darwin due to
  incompatibility
- document dependency on asciidoc

ucw docs: The lizard compression algorithm

make Sherlock compilable on Darwin without hacks due to missing direct IO

I define O_DIRECT flag to be 0 on Darwin, hence enabling direct IO will
have no effect.  This ignoring will be silent.  A clean solution (with
failure when enabled by the user) would be much more complicated and I just
wanna make Sherlock compilable on Darwin for desktop/debugging usage.

allow libucw to depend on other libraries

I need it when CONFIG_PCRE is enabled.  After the internal copy of a
reliable regexp library has been deleted from Sherlock source codes, I
cannot compile Sherlock on Darwin with the default libraries.  Therefore I
have installed pcre, but it isn't automatically linked to everything yet.

Merge branch 'dev-lib'

Fix comments

Another attempt to do the fix right

Options to include separate libraries in build

Added new options CONFIG_CHARSET and CONFIG_SHERLOCK_LIB to makefiles &
configure. CONFIG_UCW_ONLY now works only as a shortcut for excluding
all other libraries.

Updated libs-only distribution and libsonly custom to use these
switches.

Make the tests work with CONFIG_UCW_ONLY

Fix kmp-test in libs-only distribution

Fix tests in libs-only distribution

Added an ability to build static position-independent version of libucw.

This is useful when you want to link libucw statically to a shared
library.

Releasing the v3.99.1 library packages.

Use CONFIG_DIR in the source tree, too.

This breaks the stand-alone libucw, but I will fix it in a moment.

Shared library building features from Ego.

(1) SO_RUNDIR can be used to choose the place in the run tree where
    the .so should be installed.
(2) lib-flags is used, so shared libs can directly depend on other shared
    libs if needed. (This is useful for building shared libs that do not
    use pkgconfig themselves -- e.g., Perl/Python modules.)

Do not delete things named `core'.

For example, they might be Python modules :)