Merged bucket file scaling patches from rel-3-7-pre1:

Report failure if the bucket file grows too large.
Report oversized bucket files as fatal errors during bucket fsck.

Made OBUCK_SHIFT a configurable parameter. Also changed OBUCK_INCOMPLETE_MAGIC,
the original value was an evident typo (fortunately this value should never
appear in valid bucket files, so we are free to change it).

Increased bucket shift in PL customization.

Minor cleanup of KMP:

o  Replaced translation macro by input reading macro.
o  Moved reading of tagged streams to sherlock/tagged-text.h (it contains
   reading functions for completely non-related stream types anyway)
o  CONTROL_CHAR renamed to KMP_CONTROL_CHAR.
o  Tried to improve comments.

I hope it's a smaller mess now.

increase buffer 3x

bugfix

kmp search automaton moved from lang/ to lib/

Introduced mp_memdup().

Several tweaks to the growing buffers:

o  The _grow() function now returns pointer to the new buffer.
o  Many functions uninlined.
o  Fast path of _grow() is inline, but the slow path is not.

Oops, one really cannot skip bflush() there, because it's needed as
a barrier between reads and writes.

If nothing has been written, brewind() needn't flush.

Use $(COPT2) instead of -O6.

Fixed another 64-bit bug.

Checked and corrected all uses of va_args.

out[-pos] need not equal *(out-pos) if pointers are 64-bit and pos is 32-bit.

Another thing about the C standard I didn't know: passing a va_list to
a library function (e.g., snprintf()) can destroy it. Need to call va_copy() here.

Ulimit.xs now compiles in Perl 5.8.x, while still working in 5.6.x, which
I hope is all what we need.

add a posibility to hash raw memory blocks

Work around inliner bugs in gcc-3.4.

Prefetches in search/refs.c make much better sense now, so we can enable
them even on P4, gaining about 20ms per query.

ARCH and CPU_ARCH have been split. Now, you can build a 32-bit version
of Sherlock on an amd64 system by calling

./configure debug CC="gcc-3.4 -m32" LD="gcc-3.4 -m32" ARCH=i386

or a 64-bit version by not overriding anything. On 32-bit systems,
everything should act the same as before.

va_lists need not be assignable. Use va_copy() instead.

Make autoconf recognize the amd64 architecture.

Even better GBUF_TRACE -- the caller supplies his own logging function.
Also documented the new switch.

Added optional debug messages on buffer growing.

Added STRINGIFY_EXPANDED.

The Sherlock::Config module now supports typed configuration items.
Also, we enable option bundling now, so "-SX.Y=Z" works.

Allow typed configuration items. (This is the only way to get constructs
like `96d' parsed properly.)

Fixed parsing of bin/config output (by TomHol in rel-3-6-1).

Added a function which allows to read the timeval obtained during
the last init_timer() / get_timer() call.

When we encounter an URL with multiple @'s, the first one should be treated
as the username separator and the subsequent ones automatically escaped.

Therefore, `http://a@b@c.cz/' is normalized as `http://a@b%40c.cz/'.
It's probably an invalid URL (have to check all the possible loopholes
in the spec yet :) ), but it occurs in the wild anyway, so let's try
to treat them with grace.

Fixed a nasty bug in hash table allocation. HASH_AUTO_POOL must use
a pool local to the hash table, otherwise it collides with HASH_DYNAMIC.

fix url_enenscape_friendly() thanks to mj

Added stk_hexdump(). Very handy for debugging.

added url_enescape_friendly() for cards.c: it prepares a printable version
of the URL (with interpretted spaces and delimiters, hence it cannot be
parsed back), but it does not convert characters above 0x7f so that the
target string is a valid utf-8 string

second part of fixing URL printing: escape back all characters above 0x7f

note that it may happen that some incorrect words get highlighted after we
cut the escaped URL into words by lexmapper, but this is much better than
producing incorrect UTF-8 stream

Added Vlada to the mail address decoder.

non-fatal warning on an unknown commited (croniak)

Added more format string checks.

Added HASH_ZERO_FILL switch. Tired of explicit initializers.

Added hash functions for 64-bit integers.
hash_pointer() now uses either 32-bit or 64-bit hash depending on pointer size.
hashtable.h with an atomic key does the same.

athlon64 is not known before gcc-3.4.

Fixed several format string bugs in calls of die().

Format string arguments for die() should be checked as we do for log().

Mainline is going to be v3.7.

Shifting of mapping window is unlikely().

log_switch() returns whether the logs have been really switched.

Another work-around for spurious warnings.

Added work-around for spurious warnings.

Added windows-1251 charset (almost closes Bug #1209).

Added switches for gcc-4.0. "-fstrict-aliasing" is now added only for
gcc 3.0 since 3.3 and newer turn in by default with -O2 or higher.
Added CWARNS_OFF, which turns off even the warnings which default to on.

Expect lots of warnings with gcc 4.0.0; some of them are caused by
compiler bugs (e.g., http://gcc.gnu.org/bugzilla/show_bug.cgi?id=21800).

Merged Centrum customization splits from 3.5.1.

Fixxed test for ROLE=reap --> reap+watson

Default settings of MUX parameters.

Introduced cfg_malloc_zero().

Introduced bit_array_set_all().

Mainline will be v3.6.

Don't use O_DIRECTORY on non-Linux systems. (It's not necessary, but it
adds an extra check.)

Fixed a typo (thanks, Robert).

Fix "-CONFIG_SWITCH" parameters.

Fix illegal operations with va_list's.

Fixed a couple of mismatches in setting of CONFIG_LARGE_DB and
CONFIG_MAX_CONTEXTS.

Moved endianity settings etc. to the per-CPU section.

Fixed a typo.

Another Big Move -- moved most files specific for centrum.cz to centrum/cz.
Finally got rid of CONFIG_MORFEO and introduced CONFIG_CENTRUM_DEBUG instead.

Removed the old configuration mechanism.

Even better CPU checks, this time taking into account GCC version.

Fixed bug in parsing of options.

Configure: CPU type autodetection.

Automatic detection of host OS and also partial automatic detection of the
CPU architecture.

Unfortunately, CONFIG_MORFEO is here to stay.

Distinguish between CONFIG_DEBUG and CONFIG_DEBUG_TOOLS in config files,
but in the Makefiles yet, because I want to keep the old config system
for a short while.

More progress on the new configurator. All configurations have been converted.
The centrum/cz config decides on configuration according to host name.
Autoconf is able to auto-detect gcc.

Switched to the new config mechanism. Greatly simplified.

More pieces of new configure.

Added first pieces of the new configuration mechanism. (Not connected
to the rest of Sherlock yet, so you can still build Sherlock as usually.)

Rewritten Makefiles to support separated source and object trees.
The source tree is now strictly read-only, which simplified several
things, but also let me struggle for 4 hours with GNU make bugs and
misfeatures.

Don't use prefetch on Pentium 4, it actually gives worse results than
not prefetching at all. Need to investigate more later.

Added qache_probe().
Bugfix: Ignore position hints to empty slots, even if the key matches.

Added `u8' and `s8' to keep consistency.

Added file_close_all().

Cache module finished. Implemented internal consistency checks (which are
tried before we decide to use an existing cache file) and tested everything.

More work on the caching module: added some debugging messages,
moved next block pointers to a separate area.

Wrote the cache module, not debugged yet.

First steps towards a universal shared memory cache, which will be used
in the multiplexer and later probably also in the search server.

Warn on mistyped arguments to stk_printf().

Mainloop timers are now measured in milliseconds. Will be used by shep-reap one day.

Avoid "cast of pointer to a smaller integer type" warnings.

If previous check-customs run failed, run/cf could be empty.

Fixed building of shared library config,

Fix incorrect pointer casts.

Build full debugging config with shared libraries as well.

typo fixed

shup up, gcc

fixed library dependencies

comparison of signed and unsigned encountered without CONFIG_LFS

Added clist walking macros with embedded C99 declaration of the iterator
variable.

added yet another utility for processing cvs logs

added th2

If requested by config.mk, install all libraries and their include
files for use by external programs.

I don't expect this mechanism to be used in Sherlock itself, but I need
to use it in a couple of other projects (including Lestrade) and I want
to keep the things consistent.

Clarified a comment.

A better comment.