fastbufs: added some I/O checks

simple fastbuf on memory pools

ported fastbuf with effective backwards reading... incomplete

gettid: fixed a compilation bug on gentoo

big_alloc: check if big_alloc and big_free sizes match

lib: added {big,page}_alloc_zero routines

lib: removed breada :-)

fastbufs: added a new function for safe reading of fixed-length array

Fixed a bug in fb-mmap.

Cleaned up the fastbuf interfaces.

The high-level functions of fb-mmap and fb-direct have been removed.

Sorter buckets now use the parametrized fastbuf interface, too.

Added a couple of comments.

tried parametrized fastbuf for most of indexing I/O
... but there are still bugs, only std I/O passed

implemented most of parametrized fastbufs

unfinished parametrized fastbufs

- renamed fbpar_* functions
- added lookup table for I/O types

first experiments with parametrized fastbufs

fixed some wrong integer sizes

A glimpse of the (unfinished) multi-way merge module.

Added SORT_INT64 mode.

Clarified comments.

The write_merged() hook is no longer required in simple cases.

Completely rewritten buffer management of the sorter.

The big_buf is no longer split in a fixed way. Every sorter module now
decides on its own how to subdivide the buffer. This leads to better
utilization of the buffer space (e.g., when not using a radix-sorter)
and to the possibility to adjust workspace used for merging via the
(new) SORT_UNIFY_WORKSPACE macro.

s-fixint is now applied only if no workspace is required, but this should
cover all known uses of unification on fixed-size records anyway.

Added a guard against multiple inclusion.

Fixed bug in joining.

Don't forget to increase run counter.

Fixed bug in calculation of radix split width.

Fixed compilation rules for Perl modules to avoid unnecessary rebuilds.

Added SORT_DELETE_INPUT.

typo

fixed support for 64bit big allocations

replaced %L -> %ll

Merged main branch to dev-sorter.

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.11

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10

bugfix in image scaling (select the correct strategy)

install sorter-globals.h header

TAGS were specified twice.

lib: added missing include on Darwin

fixed off-by-one error in workqueue

fixed another bug with mixed HASH_GIVE_ALLOC and HASH_TABLE_ALLOC

fixed bug in big_free

hashtables: fixed combination of HASH_GIVE_ALLOC and HASH_TABLE_ALLOC

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

Added kmp.h and kmp-search.h between includes that are installed by make
install.

Added new release to centrum/cz/pkg/debian/changelog .

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

commented stolen getopt

forgotten commit from yesterday

trying to steal GNU libc's getopt... maybe it would be better
to simply strip the code only (not long) instead of copying entire files :-/

fixed a typo in bfilesize

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

removed MAX_ATTR_SIZE from images/*

added stk_vprintf

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Added a new mempool primitive mp_spread().

Gradual construction of strings via the growing mempool interface was still
too complicated, so I have introduced a new primitive for this case and also
modified mp_end() to return a pointer to the beginning of the just closed
block (which gets optimized out if unused). This allows to write:

byte *p = mp_start(pool, 1);
for (...) {
p = mp_spread(pool, p, 2);
*p++ = ...;
}
*p++ = 0;
return mp_end(pool);

Pavel, if you agree, I will merge this into mainline.

Added a new mempool primitive mp_spread().

Gradual construction of strings via the growing mempool interface was still
too complicated, so I have introduced a new primitive for this case and also
modified mp_end() to return a pointer to the beginning of the just closed
block (which gets optimized out if unused). This allows to write:

byte *p = mp_start(pool, 1);
for (...) {
p = mp_spread(pool, p, 2);
*p++ = ...;
}
*p++ = 0;
return mp_end(pool);

Pavel, if you agree, I will merge this into mainline.

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merged extended mempool from the dev-playground branch.

New features:
- reallocating of the last block (similar to a growing buffer)
- saving and restoring states (similar to a stack)

removed useless code from Ulimit & Filelock perl modules

simplified usage of Log & Die

perl: Log and Die funtions are now exportable

common switch for perl modules

Added Log perl module.

libucw: added UTF-8 correctness checker

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

better ifdefs in images/config.c

Rewritten ff-binary.

It now supports reading/writing in a specified endianity as well as the
native format.

Unaligned access functions (formerly macros) work in native, big and little endian.

Binary fastbuf functions moved to lib/ff-binary.h.

Removed an unnecessary optimization.

In fact, this could never trigger in recent versions of libucw
as it's already tested in bseek() and bsetpos().

lib/fastbuf.h no longer includes <stdio.h>.

Added zillions of missing includes and fixed handling of EOF.
Mentioned in doc/changes.

Fastbufs now work better on unseekable files.

The seek callback returns success, bseek() and bsetpos() dies if seek
fails, bfilesize() returns -1 if the file is unseekable.

use the new mkdist feature in cf/images

perl: Added Sherlock::Config::Usage string.

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

ASSERT if now an expression

removed EASSERT

added always evaluated EASSERT(x)

Added 32bit random number generator.

small fixes in perl modules

partially updated free/mkdist

stkstring.h depends on <stdio.h> (sprintf)

fixed fcnt_lock interface description

added a perl module for fcntl locking

More bug fixes^W^Wimprovements to the timing statistics.

Cleaned up sorter timings and added a final timing statistic.

Updated all users of the timer interface to pass an explicit timer context.

Replaced the old timing functions by something more useful.

get_timer() using global state was making it unusable in many cases,
especially in library routines. I decided to make the callers specify
an explicit context (a timer) instead and re-used the idea of millisecond
timestamps from mainloop.c.

I've moved timestamp_t to config.h, introduced global get_timestamp()
and replaced the timer functions by ones with an explicit timestamp_t *
argument.

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10

Fix calculation of internal sorting buffer and add unification to s-fixint.

Really deallocate the big_buf when radix-splitting.

Created a local TODO list.

Added a magical constant estimating non-uniformity of hash functions.

Fix an off-by-1 error.

Fix bucket estimator.