Logging: Introduce use counts on streams.

It turned out to be quite inconvenient to have to close the substreams in
topological order. I have introduced use counts on all streams: A newly
created stream has use count of 1, whenever it is used as a substream,
the use count increases; when the count drops to 0, the stream is
automatically destroyed.

A slightly unpleasant side-effect is that the default log stream
can no longer be constant, since we modify its counter.

I have also extended log_rm_substream() to remove all substreams
when what==NULL. This is useful in log_close_stream() and also
in log_file().

Logging: Improved documentation of struct log_stream.

Logging: Use LOG_STREAM_DEFAULT to refer to the default stream.

This keeps the casts removing constness hidden.

Logging: log_new_file() keeps its own copy of the path.

Logging: Implemented log_switch().

Logging: Introduced struct log_msg.

The logging handlers and filters are often interested in various properties
of the message in their raw form. I have modified the hooks to accept
a single pointer to `struct log_msg', which contains all needed information.

An immediate consequence is that we no longer need the calls to time() in
log-file, so a message is always timestamped at a single place when entering
the log machinery.

Logging: Resurrected the log_file() interface.

It is still useful for programs that use just a single log file. It creates
a new file stream and connects it as a substream of stream #0, replacing
the previous substreams.

Also keep fd #2 as a duplicate of the log file fd, so that errors of exec'd
programs will not be lost.

Logging: Rewritten the log-file module to implement log switching.

  o  log-file is a cross between the old libucw code and Tom's version.
  o  Introduced log_stream->udata for backend's flags.
  o  log_fork() moved to log.c.
  o  log_switch() and log_file() are not implemented yet.

Logging: Cleanup of log-syslog.c.

  o  Use a static array instead of switch() to translate log levels.
  o  Coding style and namespace cleanups.

Logging: Fixed a silly bug in my cleanup of log_new_stream().

Logging: Clean up log-stream.c.

  o  Simplified log_new_stream() -- recycling of closed streams
     and allocation of new streams are two different code paths now.
  o  The calls to log_init_module() need not be conditional.
  o  Use clist_init() for initializing clists.
  o  The usual coding style and namespace cleanups.

Also added an explanatory comment about the uninitialized state to log.c.

Logging: Cleanup of log.c

   o  log_progname[] moved to log_init()
   o  Both vmsg() and log_pass_msg() now allocate the buffer on the stack
      if the message is smaller than 256 bytes.
   o  log_pid is used instead of repeated calls to getpid()
   o  sizeof(array) always preferred over repeated constants
   o  Many coding style cleanups to make the old and new code fit together.
   o  Namespace cleanups
   o  Updated comments

Logging: Use `uns' instead of `u32' to pass flags.

Logging: The Great Shuffle

I have split the new logging machinery to several files and started merging
it with the old logger.

The intention behind the split is that programs which do not create their
own log streams should include only <ucw/lib.h> (which brings only the minimum
set of symbols) and link only a minimalistic library module, while the programs
in need of the full power of the new logger include <ucw/log.h> and link with
all log-* modules.

I have also started renaming `ls_*' to `log_*', but so far only at a couple
of places.

(Beware, most parts of the trees are currently left in an uncompilable
state. Use `make obj/ucw/log-t' for a working test program.)

Logging: Coding style cleanups.

Also removed a couple of unused variables.

Logging: Added a toy main() and plugged in the Makefile.

Logging: Fixed a typo.

Logging: Whitespace cleanup before I start editing.

Logging: Added the initial implementation of log streams
by Tomas Gavenciak <gavento@ucw.cz>.

Improve documentation of cf_reload().

LibUCW: Let cf_reload() reload all configuration files.

When a program is started with `-C' and/or `-S' switches to override the
default configuration and cf_reload() was called afterwards, it destroyed
the custom configuration and loaded the default instead.

To avoid this problem, I have added a list of configuration entries which
remembers all config files loaded and all configuration fragments executed,
as long as they are performed in the `postpone_commit' mode. The reloader
then re-executes all these operations and it records them in the new pool.

LibUCW: Added a function for assigning lists.

Fixed constness warnings in conf-test.

Build: Let CONFIG_SRC_DIR default to CONFIG_DIR.

Removed CONFIG_DIR, which got introduced by a mistake in the merge of dev-lib.

changed OFFSETOF again

fix OFFSET_OF on 64-bit architectures

Merge branch 'master' into dev-lib

Conflicts:
build/Maketop
ucw/perl/UCW/Configure/C.pm

make page_alloc(0) work

fix partmap_load(size=0), because mmap fails on that since Linux 2.6.12

fix partmap_load() on amd64 with CONFIG_PARTMAP_IS_MMAP

I don't understand how this could ever have worked.  the left-hand side is -1
and is never larger than right-hand side when comparing signed values.

UCW mainloop: Accumulate the total time spent in poll() into main_idle_time.

URLs: Fixed some broken comparisons of possibly signed chars.

(It was causing failures in Shepherd.)

Fixed accidentally modified files during the last merge.

Merge branch 'v3.12.4'

Conflicts:

centrum/cz/cf/watson
centrum/cz/doc/provoz.wiki
lib/Makefile
search/refs.c
ucw/default.cfg
ucw/perl/UCW/Configure/C.pm

Moved setting of CONFIG_DIR to defaults.cfg.

UCW Configure: Evaluate INSTALL_xxx at time of configuration.

It is often necessary to substitute the paths to C sources and config
files, so they must be fully expanded and free of constructs specific
for the makefile language.

Also, we need CONFIG_DIR at the time of configuration.

clists: improve doc.

SHA1: Added stream interface for the HMAC, too.

ucw docs: language tweak

ucw docs: hashtables

Rename CONFIG_LANG to CONFIG_LIBLANG

The switch used to enable compilation of liblang was colliding with one
of older switches to enable some of its functionality.

Fix config directory names in build system

The destination directory does not have to have the same name as the
source one and the source one does not have to be 'cf' all the time (in
the libsonly package, it isn't).

ucw docs: external sorter

ucw docs: Array sorter

ucw docs: Simple array sorter

Libucw: Implemented HEAP_DECREASE. Fixed description of HEAP_INSERT.

Fixed a bug in mp_printf_append(). Thanks to Dan.

Remove left-over NOP code

Better error message for missing fb-direct

Tells how it got disabled.

Better names for direct IO switches

CONFIG_DIRECT_IO to allow/disallow use of direct IO. Auto-disabled on
darwin.

CONFIG_UCW_FB_DIRECT to include/exclude fb-direct. Available only with
CONFIG_DIRECT_IO and CONFIG_UCW_THREADS.

Debug utilities have O_DIRECT hardcoded manually

Cosmetics.

Handle when O_DIRECT is not available

Export fb-direct functions only when turned on

Turn off CONFIG_DIRECT when needed

Added switch CONFIG_DIRECT

Turns on and off if fb-direct is compiled.

Doc. system: remove doc. symlinks upon clean

Revert "Fail when O_DIRECT requested on Darwin"

This reverts commit 484b0b2bba9332f2a186d05222b03d013cb0630a.

It made no sense.

fix installer on Darwin

cp doesn't support -a, so I've expanded it in terms of its equivalent
parameters.  sorry for all these obstructions...

fix building shared libraries on Darwin

this is a bit of a hack, but it shouldn't have any influence on Linux

Fail when O_DIRECT requested on Darwin

Darwin does not support direct IO.

make Sherlock compilable on Darwin without hacks due to missing direct IO

I define O_DIRECT flag to be 0 on Darwin, hence enabling direct IO will
have no effect.  This ignoring will be silent.  A clean solution (with
failure when enabled by the user) would be much more complicated and I just
wanna make Sherlock compilable on Darwin for desktop/debugging usage.

Remove the random text that got somehow inside

ucw docs: lizard_decompress_save update

Describes more clearly, why it exists and that it is not reentrant.

clean up linking -lpcre to libucw

fixing my previous patch according to MJ's comments

make regex and asciidoc work on Darwin without hacking

- use $(PREFIX) when accessing files in /etc/asciidoc/...
  on Darwin, we use /sw
- remove obsolete reference to internal regex library
- configure script makes sure the BSD library isn't used on Darwin due to
  incompatibility
- document dependency on asciidoc

ucw docs: The lizard compression algorithm

make Sherlock compilable on Darwin without hacks due to missing direct IO

I define O_DIRECT flag to be 0 on Darwin, hence enabling direct IO will
have no effect.  This ignoring will be silent.  A clean solution (with
failure when enabled by the user) would be much more complicated and I just
wanna make Sherlock compilable on Darwin for desktop/debugging usage.

allow libucw to depend on other libraries

I need it when CONFIG_PCRE is enabled.  After the internal copy of a
reliable regexp library has been deleted from Sherlock source codes, I
cannot compile Sherlock on Darwin with the default libraries.  Therefore I
have installed pcre, but it isn't automatically linked to everything yet.

Merge branch 'dev-lib'

Fix comments

Another attempt to do the fix right

Options to include separate libraries in build

Added new options CONFIG_CHARSET and CONFIG_SHERLOCK_LIB to makefiles &
configure. CONFIG_UCW_ONLY now works only as a shortcut for excluding
all other libraries.

Updated libs-only distribution and libsonly custom to use these
switches.

Make the tests work with CONFIG_UCW_ONLY

Fix kmp-test in libs-only distribution

Fix tests in libs-only distribution

Added an ability to build static position-independent version of libucw.

This is useful when you want to link libucw statically to a shared
library.

Releasing the v3.99.1 library packages.

Use CONFIG_DIR in the source tree, too.

This breaks the stand-alone libucw, but I will fix it in a moment.

Shared library building features from Ego.

(1) SO_RUNDIR can be used to choose the place in the run tree where
    the .so should be installed.
(2) lib-flags is used, so shared libs can directly depend on other shared
    libs if needed. (This is useful for building shared libs that do not
    use pkgconfig themselves -- e.g., Perl/Python modules.)

Do not delete things named `core'.

For example, they might be Python modules :)

Mention other libraries in libucw webpage

Fix DTD in libucw page

Libucw logo

The web contains rendered png version, since it is nightmare to force a
browser to resize a svg image. One could think it should be the other way
around...

Web pages for libucw

Sorry, the original description of API docs was correct.

Added building of a separate libucw package.

Configure: merged recognition of Nocona CPU's from master.

Merge branch 'master' into dev-lib

Conflicts:

lib/autoconf.cfg

Will solve manually in a moment.

Decided to update version to 4.0, so the beta will be 3.99.

Fixed a typo in name of one unused inline function.

Doc: Small fix in fastbufs' doc.

Doc: Updated the rules for fastbuf back-ends.

Doc: Fixed one reference in binomial heaps.

Doc: Referenced binomial heaps from the list of code generators.

Merge branch 'dev-lib' of git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock into dev-lib

Doc:
* Documented binary heaps.
* Documented binomial heaps (missing example).
* Some fixes.

Mempools: Do not use the void* arithtmetics (GNU extention) in mempool.h.