added sh_stat

_GNU_SOURCE can be already defined by compiler switches, avoid warnings.

Added stk_strndup().

Avoid namespace clashes (patch by Tom Valla).

create BIT_ARRAY_ALLOC()

add a configuration switch for the incremental scanner

Added clist_insert_list_after().

More work on the multiplexer:

o  Changed configuration of search servers and groups, added stand-alone
   declarations of groups, merging groups and the default route.
o  Search servers now have identifiers to avoid cluttering logs and
   parameters by hostnames and ports.
o  MUXSS can refer to a search server, group or merging group.
o  Bug fix in pinging.
o  mux -s now uses the screen width to list databases, not groups.
o  Added mux --testconfig, which also dumps all known route objects.

Added cfg_printf(), which will be useful for formatting of error messages
used in configuration parsers.

Mux pings now monitor which versions of which databases are offered
by which search servers. Live search servers are also pinged ocassionally
to check that the versions still match.

fix from rel-3-7

Changed main_loop shutdown logic once again. The former mechanism with
a single global main_shutdown variable was too inflexible. I have given
all hooks a possibility to either invoke an immediate shutdown or a "soft"
shutdown which is activated if all hooks agree on it (the idea is that
different parts of a single program can have their local opinion on whether
there is more to do or not).

Made main_loop() exit if there is nothing to do.
Also added a guard against multiple inclusion.

main_get_timer() made public.

#include "sherlock/tagged-text.h" really doesn't belong here.

If there are no more filehandles and a timer or event or process hook
orders shutdown, comply immediately without calling poll().

partmap.h deserves its own header

partmap_map() inlined and added an even faster version of it

shut up, gcc

Added user unaccenting rules for stroked letters. Not tested yet.

fix

Added a single-linked double-ended list module. Mostly syntactic sugar.

The SLIST_WALK_DELSAFE macro has well-defined semantics of the auxilliary
variable: it's a pointer to the previous list item or to the list head,
making it possible to delete the current item efficiently by calling
slist_remove_after().

Unfortunately, I failed to write SLIST_FOR_EACH_DELSAFE, C syntax doesn't
seem to be flexible enough for that.

Moved ROL() to lib.h.

Convert some nextprimes to next_table_primes.

Added a table of prime numbers. (I want to use prime numbers for hash table
sizes, but since the hash tables will be short-lived, I don't want to spend
much time by calculating primes.)

Added a library module for generic binary search.

Mainline is v3.8.

Updated calls of fls().

fls() is gone.

Implemented ffs() and unified it with fls() to bitops.h.

Merged bucket file scaling patches from rel-3-7-pre1:

Report failure if the bucket file grows too large.
Report oversized bucket files as fatal errors during bucket fsck.

Made OBUCK_SHIFT a configurable parameter. Also changed OBUCK_INCOMPLETE_MAGIC,
the original value was an evident typo (fortunately this value should never
appear in valid bucket files, so we are free to change it).

Increased bucket shift in PL customization.

Minor cleanup of KMP:

o  Replaced translation macro by input reading macro.
o  Moved reading of tagged streams to sherlock/tagged-text.h (it contains
   reading functions for completely non-related stream types anyway)
o  CONTROL_CHAR renamed to KMP_CONTROL_CHAR.
o  Tried to improve comments.

I hope it's a smaller mess now.

increase buffer 3x

bugfix

kmp search automaton moved from lang/ to lib/

Introduced mp_memdup().

Several tweaks to the growing buffers:

o  The _grow() function now returns pointer to the new buffer.
o  Many functions uninlined.
o  Fast path of _grow() is inline, but the slow path is not.

Oops, one really cannot skip bflush() there, because it's needed as
a barrier between reads and writes.

If nothing has been written, brewind() needn't flush.

Use $(COPT2) instead of -O6.

Fixed another 64-bit bug.

Checked and corrected all uses of va_args.

out[-pos] need not equal *(out-pos) if pointers are 64-bit and pos is 32-bit.

Another thing about the C standard I didn't know: passing a va_list to
a library function (e.g., snprintf()) can destroy it. Need to call va_copy() here.

Ulimit.xs now compiles in Perl 5.8.x, while still working in 5.6.x, which
I hope is all what we need.

add a posibility to hash raw memory blocks

Work around inliner bugs in gcc-3.4.

Prefetches in search/refs.c make much better sense now, so we can enable
them even on P4, gaining about 20ms per query.

ARCH and CPU_ARCH have been split. Now, you can build a 32-bit version
of Sherlock on an amd64 system by calling

./configure debug CC="gcc-3.4 -m32" LD="gcc-3.4 -m32" ARCH=i386

or a 64-bit version by not overriding anything. On 32-bit systems,
everything should act the same as before.

va_lists need not be assignable. Use va_copy() instead.

Make autoconf recognize the amd64 architecture.

Even better GBUF_TRACE -- the caller supplies his own logging function.
Also documented the new switch.

Added optional debug messages on buffer growing.

Added STRINGIFY_EXPANDED.

The Sherlock::Config module now supports typed configuration items.
Also, we enable option bundling now, so "-SX.Y=Z" works.

Allow typed configuration items. (This is the only way to get constructs
like `96d' parsed properly.)

Fixed parsing of bin/config output (by TomHol in rel-3-6-1).

Added a function which allows to read the timeval obtained during
the last init_timer() / get_timer() call.

When we encounter an URL with multiple @'s, the first one should be treated
as the username separator and the subsequent ones automatically escaped.

Therefore, `http://a@b@c.cz/' is normalized as `http://a@b%40c.cz/'.
It's probably an invalid URL (have to check all the possible loopholes
in the spec yet :) ), but it occurs in the wild anyway, so let's try
to treat them with grace.

Fixed a nasty bug in hash table allocation. HASH_AUTO_POOL must use
a pool local to the hash table, otherwise it collides with HASH_DYNAMIC.

fix url_enenscape_friendly() thanks to mj

Added stk_hexdump(). Very handy for debugging.

added url_enescape_friendly() for cards.c: it prepares a printable version
of the URL (with interpretted spaces and delimiters, hence it cannot be
parsed back), but it does not convert characters above 0x7f so that the
target string is a valid utf-8 string

second part of fixing URL printing: escape back all characters above 0x7f

note that it may happen that some incorrect words get highlighted after we
cut the escaped URL into words by lexmapper, but this is much better than
producing incorrect UTF-8 stream

Added Vlada to the mail address decoder.

non-fatal warning on an unknown commited (croniak)

Added more format string checks.

Added HASH_ZERO_FILL switch. Tired of explicit initializers.

Added hash functions for 64-bit integers.
hash_pointer() now uses either 32-bit or 64-bit hash depending on pointer size.
hashtable.h with an atomic key does the same.

athlon64 is not known before gcc-3.4.

Fixed several format string bugs in calls of die().

Format string arguments for die() should be checked as we do for log().

Mainline is going to be v3.7.

Shifting of mapping window is unlikely().

log_switch() returns whether the logs have been really switched.

Another work-around for spurious warnings.

Added work-around for spurious warnings.

Added windows-1251 charset (almost closes Bug #1209).

Added switches for gcc-4.0. "-fstrict-aliasing" is now added only for
gcc 3.0 since 3.3 and newer turn in by default with -O2 or higher.
Added CWARNS_OFF, which turns off even the warnings which default to on.

Expect lots of warnings with gcc 4.0.0; some of them are caused by
compiler bugs (e.g., http://gcc.gnu.org/bugzilla/show_bug.cgi?id=21800).

Merged Centrum customization splits from 3.5.1.

Fixxed test for ROLE=reap --> reap+watson

Default settings of MUX parameters.

Introduced cfg_malloc_zero().

Introduced bit_array_set_all().

Mainline will be v3.6.

Don't use O_DIRECTORY on non-Linux systems. (It's not necessary, but it
adds an extra check.)

Fixed a typo (thanks, Robert).

Fix "-CONFIG_SWITCH" parameters.

Fix illegal operations with va_list's.

Fixed a couple of mismatches in setting of CONFIG_LARGE_DB and
CONFIG_MAX_CONTEXTS.

Moved endianity settings etc. to the per-CPU section.

Fixed a typo.

Another Big Move -- moved most files specific for centrum.cz to centrum/cz.
Finally got rid of CONFIG_MORFEO and introduced CONFIG_CENTRUM_DEBUG instead.

Removed the old configuration mechanism.

Even better CPU checks, this time taking into account GCC version.

Fixed bug in parsing of options.

Configure: CPU type autodetection.

Automatic detection of host OS and also partial automatic detection of the
CPU architecture.

Unfortunately, CONFIG_MORFEO is here to stay.

Distinguish between CONFIG_DEBUG and CONFIG_DEBUG_TOOLS in config files,
but in the Makefiles yet, because I want to keep the old config system
for a short while.