Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10

bugfix in image scaling (select the correct strategy)

install sorter-globals.h header

TAGS were specified twice.

lib: added missing include on Darwin

fixed off-by-one error in workqueue

fixed another bug with mixed HASH_GIVE_ALLOC and HASH_TABLE_ALLOC

fixed bug in big_free

hashtables: fixed combination of HASH_GIVE_ALLOC and HASH_TABLE_ALLOC

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

Added kmp.h and kmp-search.h between includes that are installed by make
install.

Added new release to centrum/cz/pkg/debian/changelog .

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

commented stolen getopt

forgotten commit from yesterday

trying to steal GNU libc's getopt... maybe it would be better
to simply strip the code only (not long) instead of copying entire files :-/

fixed a typo in bfilesize

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

removed MAX_ATTR_SIZE from images/*

added stk_vprintf

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Added a new mempool primitive mp_spread().

Gradual construction of strings via the growing mempool interface was still
too complicated, so I have introduced a new primitive for this case and also
modified mp_end() to return a pointer to the beginning of the just closed
block (which gets optimized out if unused). This allows to write:

byte *p = mp_start(pool, 1);
for (...) {
p = mp_spread(pool, p, 2);
*p++ = ...;
}
*p++ = 0;
return mp_end(pool);

Pavel, if you agree, I will merge this into mainline.

Added a new mempool primitive mp_spread().

Gradual construction of strings via the growing mempool interface was still
too complicated, so I have introduced a new primitive for this case and also
modified mp_end() to return a pointer to the beginning of the just closed
block (which gets optimized out if unused). This allows to write:

byte *p = mp_start(pool, 1);
for (...) {
p = mp_spread(pool, p, 2);
*p++ = ...;
}
*p++ = 0;
return mp_end(pool);

Pavel, if you agree, I will merge this into mainline.

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merged extended mempool from the dev-playground branch.

New features:
- reallocating of the last block (similar to a growing buffer)
- saving and restoring states (similar to a stack)

removed useless code from Ulimit & Filelock perl modules

simplified usage of Log & Die

perl: Log and Die funtions are now exportable

common switch for perl modules

Added Log perl module.

libucw: added UTF-8 correctness checker

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

better ifdefs in images/config.c

Rewritten ff-binary.

It now supports reading/writing in a specified endianity as well as the
native format.

Unaligned access functions (formerly macros) work in native, big and little endian.

Binary fastbuf functions moved to lib/ff-binary.h.

Removed an unnecessary optimization.

In fact, this could never trigger in recent versions of libucw
as it's already tested in bseek() and bsetpos().

lib/fastbuf.h no longer includes <stdio.h>.

Added zillions of missing includes and fixed handling of EOF.
Mentioned in doc/changes.

Fastbufs now work better on unseekable files.

The seek callback returns success, bseek() and bsetpos() dies if seek
fails, bfilesize() returns -1 if the file is unseekable.

use the new mkdist feature in cf/images

perl: Added Sherlock::Config::Usage string.

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

ASSERT if now an expression

removed EASSERT

added always evaluated EASSERT(x)

Added 32bit random number generator.

small fixes in perl modules

partially updated free/mkdist

stkstring.h depends on <stdio.h> (sprintf)

fixed fcnt_lock interface description

added a perl module for fcntl locking

More bug fixes^W^Wimprovements to the timing statistics.

Cleaned up sorter timings and added a final timing statistic.

Updated all users of the timer interface to pass an explicit timer context.

Replaced the old timing functions by something more useful.

get_timer() using global state was making it unusable in many cases,
especially in library routines. I decided to make the callers specify
an explicit context (a timer) instead and re-used the idea of millisecond
timestamps from mainloop.c.

I've moved timestamp_t to config.h, introduced global get_timestamp()
and replaced the timer functions by ones with an explicit timestamp_t *
argument.

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10.1

Merge with git+ssh://git.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.10

Fix calculation of internal sorting buffer and add unification to s-fixint.

Really deallocate the big_buf when radix-splitting.

Created a local TODO list.

Added a magical constant estimating non-uniformity of hash functions.

Fix an off-by-1 error.

Fix bucket estimator.

Radix-sorting is not compatible with custom presort.

Much better decisions on radix sorter parameters.

Added a couple of tests with the old sorter to have reference for speed benchmarks.

(Yes, it horribly duplicates code of sort-test, but I hope it will go away
with the old sorter before merging with mainline.)

Added s-fixint module (internal sorter for small fixed-size records).

Fixed a silly bug.

Moved formatting of sizes to libucw.

Minor improvements of debug messages.

Fixed bug in printing of bucket sizes.

Added a trivial implementation of radix sorting.

Show timings and allow direct I/O.

Remember size of the input file.

All numbers printed by sort-test should be unsigned.

Killed a bug in the tester.

Cannot swap out the source file, because we don't know how to reopen it.

Added a graph-like test case which tests custom presorter and THIS_FB mode.

And as usually fixed some bugs it has uncovered.

Allow empty test cases.

Better messages and sort-test controls.

Added "keep buckets" debug option and fixed some bugs.

A new test.

Merged genconf improvements from mainline.

More elegant evaluation of #if expressions.

Implemented substition of configuration variables.

Added several tests.

These don't include variable-length keys or data yet.

Remember to undefine SORT_PREFIX.

Squash a couple of warnings.

The one about comparison being always the same because of data type
ranges is especially annoying, but I don't know how to shut it up.

Moved low-level operations to a separate file.

Implemented SORT_UNIFY, SORT_UNIQUE and debugged SORT_VAR_DATA.

Now the new sorter is equivalent to the old sorter (i.e., the same algorithms),
but with new interface and standing on new foundations. I will write
a simple test suite and then start filling the gaps with something
interesting.

Empty final bucket should be turned into a file as well.

Cleaned up joining of buckets.

The new bucket semantics really helps.

Implemented swapping in/out buckets.

In some sorting methods, we want to use lots of buckets, but avoid
keeping all the files open and their buffers allocated. The bucket
machinery is now able to swap out a bucket (close its fastbuf) and
then transparently swap it in as needed.

Cleanup of bucket handling.

The bucket operations have much nicer semantics now.
Also added a couple of debug switches.

More bits of the sorter.

In-memory presorting (the general case, but without unification) seems to
work. However, I am not happy with the bucket mechanics yet, it's too
complicated.

Format string cleanup.

big_alloc() now takes a 64-bit argument.

We would like to allocate buffers larger than 4 GB on 64-bit machines.
I've purposefully used u64 instead of size_t, because configuration
variables for buffer sizes will be usually u64's and big_alloc() is
the proper place to report buffer size errors.