Simple image search... under construction

Experimental version of search tree construction...

Initial testing version of image signatures... very simple yet :-)

GIT uses mutt's default value of allow_8bit when sending a mail
and prefers ascii/iso-8859-2 charsets if possible.

GIT commit mails are now in UTF-8

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.8

Mux no longer crashes, removing the trap.

{stk,mp}_conv --> {stk,mp}_strconv

Slightly faster mp-charconv... minor change

Well, a simple variant of stk_conv.
I leave the complex one for experiments... ;)

Charset conversion with allocation on the stack do not
depend on string_table's lengths now.

Fix: .h indentation and ifdef names; some comments; stk-conv enlarges
string 3 times; warning in string_table generator.

Conversion between charsets with allocation on the stack
or a given memory pool. I will propably add some optimalizations...

gcc-4.1 should so far use the the same switches as 4.0.

Merged with v3.8

get rid of return's after ASSERT's.  that only caused warnings with (buggy)
gcc4

get rid of return's after ASSERT's.  that only caused warnings with (buggy)
gcc4

Merged with v3.8

Reverted most of the Robert's confused commit (the rest should be
harmless).

Merge with 3.8 (my small changes due to trying to release the free version)

I wanted to push my local 3.8 repository to the remote v3.8 one, but it
failed.  trying to push it at least to the mainline...

avoid compiler warnings with debugging turned off

CONFIG_INCREMENTAL doesn't belong to the free version

Debugging traps should dwell only in v3.8, so reverting them after
the automatic merge brought them into mainline.

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.8

One more file to exclude.

.cvsignore is no longer needed.

Added the update hook script to the repository.

Added an exclude file, symlink it to .git/info/exclude if you wish.

Temporarily disabled signal trapping, backtraces over signal handlers
don't seem to work well in the version of gdb present in Woody.

Merged from rel-3-8:

Don't reset the pid field on process_del(), it's not tested anywhere anyway.

Hmm, there was one reference to mp->pid, but the ASSERT didn't make
much sense anyway, so I am removing it.

Hmm, there was one reference to mp->pid, but the ASSERT didn't make
much sense anyway, so I am removing it.

Don't reset the pid field on process_del(), it's not tested anywhere anyway.

Mainline heads for v3.9.

Centrum roles have changed.

Centrum roles have changed.

The Polish customization no longer has a default role.

Made gcc-3.4 the default compiler for customization checking.

Added getproctitle().

Replaced the long-lived "close(0) if logging to file" hack by closing
stdin in the daemon-helper.

Added bit_array_assign(), replaced BIT_ARRAY_ALLOC by functions.

main_init() really re-initializes everything. Previously, it could
result in malformed poll tables being built.

Also improved the debugging messages a lot.

It seems that signal safety of time-related functions is even more subtle
than I thought -- strftime() and localtime_r() can deadlock each other,
probably due to access to time zone information. Replaced strftime() by
a mere sprintf.

Added a possibility of logging with microsecond timestamps.

Cleaned up includes.

xfree() macro has been turned into a regular function. This is much cleaner,
allows for easy memory allocation tracking and also avoids including
<stdlib.h> at random places.

Check partmap-is-mmap configuration as well.

On 64-bit architectures, partmap is just an mmap.
On all architectures, it calls madvise() to optimize for sequential access.

Instead of adding HEAP_INCREASE_POS as Tom requested, I've modified
HEAP_INCREASE. I think this is a better solution, because increasing
the value of the root element is too special and knowing that doesn't
enable us to do any special optimizations anyway.

Fixed stk_strndup(): it works on non-terminated input strings now
and without an off-by-one bug :)

log() is now signal-safe.

Added a (so far trivial) library of functions for shell scripts.

use typedef instead of define for sh_stat_t

added sh_stat_t

added sh_stat

_GNU_SOURCE can be already defined by compiler switches, avoid warnings.

Added stk_strndup().

Avoid namespace clashes (patch by Tom Valla).

create BIT_ARRAY_ALLOC()

add a configuration switch for the incremental scanner

Added clist_insert_list_after().

More work on the multiplexer:

o  Changed configuration of search servers and groups, added stand-alone
   declarations of groups, merging groups and the default route.
o  Search servers now have identifiers to avoid cluttering logs and
   parameters by hostnames and ports.
o  MUXSS can refer to a search server, group or merging group.
o  Bug fix in pinging.
o  mux -s now uses the screen width to list databases, not groups.
o  Added mux --testconfig, which also dumps all known route objects.

Added cfg_printf(), which will be useful for formatting of error messages
used in configuration parsers.

Mux pings now monitor which versions of which databases are offered
by which search servers. Live search servers are also pinged ocassionally
to check that the versions still match.

fix from rel-3-7

Changed main_loop shutdown logic once again. The former mechanism with
a single global main_shutdown variable was too inflexible. I have given
all hooks a possibility to either invoke an immediate shutdown or a "soft"
shutdown which is activated if all hooks agree on it (the idea is that
different parts of a single program can have their local opinion on whether
there is more to do or not).

Made main_loop() exit if there is nothing to do.
Also added a guard against multiple inclusion.

main_get_timer() made public.

#include "sherlock/tagged-text.h" really doesn't belong here.

If there are no more filehandles and a timer or event or process hook
orders shutdown, comply immediately without calling poll().

partmap.h deserves its own header

partmap_map() inlined and added an even faster version of it

shut up, gcc

Added user unaccenting rules for stroked letters. Not tested yet.

fix

Added a single-linked double-ended list module. Mostly syntactic sugar.

The SLIST_WALK_DELSAFE macro has well-defined semantics of the auxilliary
variable: it's a pointer to the previous list item or to the list head,
making it possible to delete the current item efficiently by calling
slist_remove_after().

Unfortunately, I failed to write SLIST_FOR_EACH_DELSAFE, C syntax doesn't
seem to be flexible enough for that.

Moved ROL() to lib.h.

Convert some nextprimes to next_table_primes.

Added a table of prime numbers. (I want to use prime numbers for hash table
sizes, but since the hash tables will be short-lived, I don't want to spend
much time by calculating primes.)

Added a library module for generic binary search.

Mainline is v3.8.

Updated calls of fls().

fls() is gone.

Implemented ffs() and unified it with fls() to bitops.h.

Merged bucket file scaling patches from rel-3-7-pre1:

Report failure if the bucket file grows too large.
Report oversized bucket files as fatal errors during bucket fsck.

Made OBUCK_SHIFT a configurable parameter. Also changed OBUCK_INCOMPLETE_MAGIC,
the original value was an evident typo (fortunately this value should never
appear in valid bucket files, so we are free to change it).

Increased bucket shift in PL customization.

Minor cleanup of KMP:

o  Replaced translation macro by input reading macro.
o  Moved reading of tagged streams to sherlock/tagged-text.h (it contains
   reading functions for completely non-related stream types anyway)
o  CONTROL_CHAR renamed to KMP_CONTROL_CHAR.
o  Tried to improve comments.

I hope it's a smaller mess now.

increase buffer 3x

bugfix

kmp search automaton moved from lang/ to lib/

Introduced mp_memdup().

Several tweaks to the growing buffers:

o  The _grow() function now returns pointer to the new buffer.
o  Many functions uninlined.
o  Fast path of _grow() is inline, but the slow path is not.

Oops, one really cannot skip bflush() there, because it's needed as
a barrier between reads and writes.

If nothing has been written, brewind() needn't flush.

Use $(COPT2) instead of -O6.

Fixed another 64-bit bug.

Checked and corrected all uses of va_args.

out[-pos] need not equal *(out-pos) if pointers are 64-bit and pos is 32-bit.

Another thing about the C standard I didn't know: passing a va_list to
a library function (e.g., snprintf()) can destroy it. Need to call va_copy() here.

Ulimit.xs now compiles in Perl 5.8.x, while still working in 5.6.x, which
I hope is all what we need.

add a posibility to hash raw memory blocks

Work around inliner bugs in gcc-3.4.