implemented most of parametrized fastbufs

unfinished parametrized fastbufs

- renamed fbpar_* functions
- added lookup table for I/O types

first experiments with parametrized fastbufs

fixed some wrong integer sizes

A glimpse of the (unfinished) multi-way merge module.

Added SORT_INT64 mode.

Clarified comments.

The write_merged() hook is no longer required in simple cases.

Completely rewritten buffer management of the sorter.

The big_buf is no longer split in a fixed way. Every sorter module now
decides on its own how to subdivide the buffer. This leads to better
utilization of the buffer space (e.g., when not using a radix-sorter)
and to the possibility to adjust workspace used for merging via the
(new) SORT_UNIFY_WORKSPACE macro.

s-fixint is now applied only if no workspace is required, but this should
cover all known uses of unification on fixed-size records anyway.

Added a guard against multiple inclusion.

Fixed bug in joining.

Don't forget to increase run counter.

Fixed bug in calculation of radix split width.

Fixed compilation rules for Perl modules to avoid unnecessary rebuilds.

Added SORT_DELETE_INPUT.

typo

fixed support for 64bit big allocations

replaced %L -> %ll

Merged main branch to dev-sorter.

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.11

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10

bugfix in image scaling (select the correct strategy)

install sorter-globals.h header

TAGS were specified twice.

lib: added missing include on Darwin

fixed off-by-one error in workqueue

fixed another bug with mixed HASH_GIVE_ALLOC and HASH_TABLE_ALLOC

fixed bug in big_free

hashtables: fixed combination of HASH_GIVE_ALLOC and HASH_TABLE_ALLOC

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

Added kmp.h and kmp-search.h between includes that are installed by make
install.

Added new release to centrum/cz/pkg/debian/changelog .

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

commented stolen getopt

forgotten commit from yesterday

trying to steal GNU libc's getopt... maybe it would be better
to simply strip the code only (not long) instead of copying entire files :-/

fixed a typo in bfilesize

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

removed MAX_ATTR_SIZE from images/*

added stk_vprintf

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Added a new mempool primitive mp_spread().

Gradual construction of strings via the growing mempool interface was still
too complicated, so I have introduced a new primitive for this case and also
modified mp_end() to return a pointer to the beginning of the just closed
block (which gets optimized out if unused). This allows to write:

byte *p = mp_start(pool, 1);
for (...) {
p = mp_spread(pool, p, 2);
*p++ = ...;
}
*p++ = 0;
return mp_end(pool);

Pavel, if you agree, I will merge this into mainline.

Added a new mempool primitive mp_spread().

Gradual construction of strings via the growing mempool interface was still
too complicated, so I have introduced a new primitive for this case and also
modified mp_end() to return a pointer to the beginning of the just closed
block (which gets optimized out if unused). This allows to write:

byte *p = mp_start(pool, 1);
for (...) {
p = mp_spread(pool, p, 2);
*p++ = ...;
}
*p++ = 0;
return mp_end(pool);

Pavel, if you agree, I will merge this into mainline.

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merged extended mempool from the dev-playground branch.

New features:
- reallocating of the last block (similar to a growing buffer)
- saving and restoring states (similar to a stack)

removed useless code from Ulimit & Filelock perl modules

simplified usage of Log & Die

perl: Log and Die funtions are now exportable

common switch for perl modules

Added Log perl module.

libucw: added UTF-8 correctness checker

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

better ifdefs in images/config.c

Rewritten ff-binary.

It now supports reading/writing in a specified endianity as well as the
native format.

Unaligned access functions (formerly macros) work in native, big and little endian.

Binary fastbuf functions moved to lib/ff-binary.h.

Removed an unnecessary optimization.

In fact, this could never trigger in recent versions of libucw
as it's already tested in bseek() and bsetpos().

lib/fastbuf.h no longer includes <stdio.h>.

Added zillions of missing includes and fixed handling of EOF.
Mentioned in doc/changes.

Fastbufs now work better on unseekable files.

The seek callback returns success, bseek() and bsetpos() dies if seek
fails, bfilesize() returns -1 if the file is unseekable.

use the new mkdist feature in cf/images

perl: Added Sherlock::Config::Usage string.

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

ASSERT if now an expression

removed EASSERT

added always evaluated EASSERT(x)

Added 32bit random number generator.

small fixes in perl modules

partially updated free/mkdist

stkstring.h depends on <stdio.h> (sprintf)

fixed fcnt_lock interface description

added a perl module for fcntl locking

More bug fixes^W^Wimprovements to the timing statistics.

Cleaned up sorter timings and added a final timing statistic.

Updated all users of the timer interface to pass an explicit timer context.

Replaced the old timing functions by something more useful.

get_timer() using global state was making it unusable in many cases,
especially in library routines. I decided to make the callers specify
an explicit context (a timer) instead and re-used the idea of millisecond
timestamps from mainloop.c.

I've moved timestamp_t to config.h, introduced global get_timestamp()
and replaced the timer functions by ones with an explicit timestamp_t *
argument.

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10

Fix calculation of internal sorting buffer and add unification to s-fixint.

Really deallocate the big_buf when radix-splitting.

Created a local TODO list.

Added a magical constant estimating non-uniformity of hash functions.

Fix an off-by-1 error.

Fix bucket estimator.

Radix-sorting is not compatible with custom presort.

Much better decisions on radix sorter parameters.

Added a couple of tests with the old sorter to have reference for speed benchmarks.

(Yes, it horribly duplicates code of sort-test, but I hope it will go away
with the old sorter before merging with mainline.)

Added s-fixint module (internal sorter for small fixed-size records).

Fixed a silly bug.

Moved formatting of sizes to libucw.

Minor improvements of debug messages.

Fixed bug in printing of bucket sizes.

Added a trivial implementation of radix sorting.

Show timings and allow direct I/O.

Remember size of the input file.

All numbers printed by sort-test should be unsigned.

Killed a bug in the tester.