Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merged extended mempool from the dev-playground branch.

New features:
- reallocating of the last block (similar to a growing buffer)
- saving and restoring states (similar to a stack)

libucw: added UTF-8 correctness checker

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

better ifdefs in images/config.c

Rewritten ff-binary.

It now supports reading/writing in a specified endianity as well as the
native format.

Unaligned access functions (formerly macros) work in native, big and little endian.

Binary fastbuf functions moved to lib/ff-binary.h.

Removed an unnecessary optimization.

In fact, this could never trigger in recent versions of libucw
as it's already tested in bseek() and bsetpos().

lib/fastbuf.h no longer includes <stdio.h>.

Added zillions of missing includes and fixed handling of EOF.
Mentioned in doc/changes.

Fastbufs now work better on unseekable files.

The seek callback returns success, bseek() and bsetpos() dies if seek
fails, bfilesize() returns -1 if the file is unseekable.

use the new mkdist feature in cf/images

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

partially updated free/mkdist

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10

Merged genconf improvements from mainline.

More elegant evaluation of #if expressions.

Implemented substition of configuration variables.

Replaced %L by %ll, the former is obsolete and specific to Linux libc5.

Hunted down a dozen of damned printf cast bugs.

Condemned eternally be the man who gave C precise types, but no formatting
sequences for printing them.

Make !CONFIG_EXACT_CPU work again.

When the CONFIG_EXACT_CPU switch was turned off, the configure script
spat errors on being unable to parse /proc/cpuinfo.

Now we handle the non-exact mode properly by not emitting any model-specific
gcc flags.

The great type cleanup: Use C99 types where applicable.

LibUCW types (u16 and friends) are now based on the C99 <stdint.h> types.

Old-style sbyte, word, sword and addr_int_t are gone (I've removed all refs
to them in the previous commits).

<stddef.h> is now included automatically, bringing types like size_t and
also NULL.

The operations on pointers (GET_P, PUT_P etc.) have been removed from
lib/config.h as nobody uses them and bgetp() is just a duplicate of bgeta()
from lib/fastbuf.h. BYTES_PER_P is gone as well.

#define _GNU_SOURCE had to be moved to lib/config.h, where it belongs anyway.

Use uintptr_t instead of addr_int_t.

No need to use our own type when we already rely on C99 anyway.

Get rid of ancient types: sbyte, word, sword.

s8, u16 and s16 are definitely more readable.

genconf: Stop the compilation if #pipe failed.

Support for the following syntax in configuration files:

#if CONFIG_ABC || !CONFIG_DEF
#elsif (CONFIG_GHI && CONFIG_JKL) || CONFIG_MNO
#else
#endif

Alternatively I can cache it to C-like "defined(CONFIG_ABC)"
(CONFIG_ABC alone could expand to its value)
or to pure Perl code without substitutions.

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

CPU_PAGE_SIZE ported from mainline.

Determine system page size in the configure script (introduced CPU_PAGE_SIZE).

This is a work around for broken libc on unstable Debian, but it will
probably be useful elsewhere, too.

Added missing lib/bigalloc.c from dev-async-shep.

Partial merge with dev-async-shep:
- added routines for allocation of large alligned buffers
- improved random-access utility

added missing type for a local variable

Fixed a typo preventing compilation in non-threaded mode.

Remove relics of pre-CONFIG_UCW_THREADS times.

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merged mainline with parallel shep-reap:
- bucket file iface supports more than one opened DB
- shep-reap can preload buckets in parallel (useful especially on RAID systems)

Use thread ID for temporary file creation.

Added thread_id to ucwlib_context.

Free thread context structure on thread termination.

Fixed bug in signal handling.

Removed the `returned' hook.

Implemented priority queues.

image-sim-test can display also base224-encoded signatures

fixed long option for computation of base64 signatures

image-sim-test can display base64-encoded signature

Updated various programs and Makefiles to use the threading infrastructure.

Updated libucw threading notes.

Logging functions are thread-safe.

Fixed thread safety of signal handling.

Signals delivery is generally not deterministic in multi-threaded programs,
but SIGSEGV is always sent by the kernel to the thread which caused the fault.

Replaced the global signal handler array by a pointer in the per-thread
context and replaced saving of original handles (which was wrong even in
some non-threaded cases) by locked use counters.

Also moved logging of the SIGSEGV error message out of the signal handler
to be sure there are no clashes.

When libucw is compiled without threading, everything is nearly as simple
as before, because the thread context struct is static and all locks
disappear.

Export temp_file_name().

Creation of temporary files is now thread-safe (ugh).

Added threading infrastructure to libucw and CONFIG_UCW_THREADS.

Finally decided that we need threading support in too many libucw modules,
so the only sane thing is to link all programs with -lpthread. On the
other hand, I would like to keep the possibility of building non-threaded libucw,
so I've introduced a new config switch, which is always set for Sherlock.

Trivial cleanups.

Added a library module for distributing work between threads.

(Ported from the dev-sorter branch.)

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10

(centrum/cz/{cf/local,config} merged manually)

CONFIG_INSTALL_API installs libimages headers

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10

fixed reading of big jpegs (serious today's bug)

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10

fixed deinterlacing of very small GIFs

typo

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10

according to libjpeg documentation fill_input_buffer should never return zero

ignore libjpeg warnings

64bit bug in image signatures

fixed segfaulting libjpeg warnings when decoding partially wrong images...
now we reject such images, but it can be easily changed in ifdef

partial YCCK colorspace support

fixed Bug 3188 - libimages supports shared libraries;
it depends on libsh only with CONFIG_SHERLOCK

hacked libimages tests dependencies

fixed color.test compilation

Moved the update hook script to a separate repository.

added support for some color conversions; we should be able to load cmyk
jpegs now...

image-tool uses RGB automatically when converting non-RGB jpegs
to gif/png

slightly changed dealing with color spaces
(I will add CMYK -> RGB conversion soon ... bug #2819)

enable dynamic linking on Darwin

auto-detect CONFIG_LFS

make the Perl Ulimit module compilable on Darwin

update the code so that it compiles both on Linux and Darwin

fdatasync is not supported on Darwin ===> work-around

added a wrapper for POSIX semaphores that works also on Darwin

separate the support of large files from using LFS versions of file functions

ALIGN renamed to ALIGN_TO

fixed forgotten text :)

Completed merge with dev-img branch.

- libimages library
- gatherer uses libimages instead of GraphicsMagick
- added indexation of image signatures and support
  for similar images to search server (IMAGESIM)
- CZ indexation split to text and images
- ... and more small changes

Partial merge with dev-img - added libimages.

rewriting PL timetables... incomplete

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git

stk_printf() has been fixed.

genconfig can include program's output (should be deterministic)

conf: improve the format of the error message issued on invalid -S setting

thread-safe stk_printf

Replaced the SORTER_DECLARE_ONLY hack by lib/sorter-globals.h.

Define NO_INLINE, which can be helpful when profiling.

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git

A better comments on character set names.

note that we use RCF names for supported charsets

Documented thread safety of ucwlib functions.

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Guard against calls of random_max() with too large range.