Added a set of functions for sliding window mmapping of large files.
Will be used by the indexer to access the card notes array.

Replaced enums by #define's in definitions of word, meta and string types.
It's less elegant, but it gives a chance to detect whether a specific type
exists or not.

Allow submakefiles to add their own installation directories and to override
the run/bin directory. Propagate the directories to the installer.

Updated the installation script to always check for missing directories.

Recognition of variable types in parse_args is now automatic.

Added 'array' feature to handle multiple variable occurrences.

Just to make it more comfortable.

Patch to allow processing of multiple occurences of the same argument.
Now it returns a string of values separated by "&".

fixed headers

fixed generated header comment

regenerated by misc/generate from updated charset tables

added (and renamed) all iso-8859-* charsets

added (and renamed) all iso-8859-{1,2,...,16} charsets

adapted to UNDEFINED characters

upgraded from ftp.unicode.org and also renamed

updated according to the newest tables downloaded from ftp.unicode.org

imported by `trunicode` from ftp.unicode.org

added a tool for importing mappings from ftp.unicode.org
I will rather use this source than `recode`

Several changes mixed to one commit (sorry, the CVS didn't work for a long time):

o  Changed index format ID.
o  MAX_COMPLEX_LEN went with the rest of complexes.
o  Introduced data types and handling macros for context bucket ID's.
o  Returned fp_hash() to its original definition -- the previous "fix" was
   deadly wrong: I confused indexing of bytes with indexing of words.
   Also, the fp_hash() has to be monotonic wrt. fpsort's order which the
   new one wasn't.

Define CONFIG_CONTEXTS whenever we use contexts.

Add GET_U8 and PUT_U8 for completeness.

fixed handling of characters lost by recoding

added tools for stealing translation tables from recode

sanity checks:
- iso-8859-{1,2} tables are identical after extraction with the tables imported
  by MJ
- cp1250 tables is quite different from the existing win-1250 table, but I do
  not know which one is right

a little bugfix of the test-tool

one test has been meanwhile adjusted

I have meanwhile fiddled a little with #include's after I sent it to MJ

Fix bug in traversing of empty heap.

Tweak the binomial heaps a bit to make them easier to use.

Added a very simple generic implementation of binomial heaps. Their main
virtue is that they are fully dynamic, needing no upper bounds on the
number of items nor frequent reallocations. Their main disadvantage is
the need of 13 bytes per node.

I did implement only those heap operations I'll use in the gatherer,
I'll add more later.

<...> => "...".

Casting addresses to longs is not portable, use addr_int_t instead.

Corrected a couple of comments.

Removed duplicate definition of DEBUG and a couple of singned/unsigned
comparison warnings.

Minor changes to the RB-tree code:

o  Static declarations are much more common, so replace TREE_STATIC
   by TREE_GLOBAL (which does just the opposite).
o  <xxx> is reserved for system includes, use "xxx" instead.
o  Use TREE_TRACE instead of TRACE to avoid collisions with other tracing macros.

Added generic red-black trees Robert has sent to me some months ago.

They probably won't get used just now, but this is a good place to keep
them in.

Replaced clist_insert() by clist_insert_{before,after}().

Added clist_empty() and CLIST_WALK_DELSAFE.

Added a straigtforward implementation of circular linked lists. They are
a small bit less efficient than our lists.h lists (testing against zero is
faster than testing against list head), but they are nicer and they save
one pointer per list head which makes them better for hash tables etc.

Added prefetch functions.

ASSERT is unlikely.

Added macros for hinting branch predictor.

Added mapping of URL keys according to the prefix equivalence table.

Functions working with tagged characters moved from index.h to a new
header file tagged-text.h. This also revealed a couple of unintentional
indirect includes.

Split URL fingerprinting inside indexer from the other fingerprints.
URL fingerprints will include server equivalence mappings and other
such hacks (for now the "www." hack), the other fingerprints (used
e.g. for hashing of strings in the index) won't.

Oops, the hash function for fingerprints was terribly biased. There should
be XOR, not OR. Also, the shifts are meaningless, because the fingerprint
hash is believed to be very well distributed.

Beware, this means that the current mainline is incompatible with string
indices generated by v2.4!  For now, I'm not increasing the index version,
because word matching still works with old indices and I want to profile it.

bugfix found by gcc-3.3

Make sherlockd calculate per-filetype number of matched documents, including
those failing the FILETYPE filter. This breaks the nice abstraction of hiding
all filtering under EXTENDED_ATTRS, but it will allow us to get rid of lots
of STATS queries.

Started v2.5.

Added a new card flag for cards in giant classes. Don't index selected meta
types in such cards.

Added a new PURE attribute which means "this function can read global variables,
but it doesn't have any side effects" as opposed to CONST which promises
that no global variables will be touched.

documentation fixed

Added functions for moving attributes in the chain.

If the search server connection dies prematurely, give the right error
message instead of referencing an undefined variable.

Replaced various nesting heuristics by proper parsing of parenthesized blocks.
Also noted that "E" is now multi-valued.

One more parameters change.

More changes to the custom attribute mechanism:

o  Introduced the concept of extended attributes which consist of the
   custom attributes and some internally defined attributes handled
   in the same way.
o  FILETYPE and LANG are now extended attributes and they don't depend
   on the customization module. This is probably much cleaner as it
   reduces the overlap between custom parts and generic parts.
o  No problems with linking liblang because of LANG attribute.
o  idxdump got simplified.

Create local copy of program name to be printed in log messages
to avoid having it rewritten by setproctitle().

Better explanation of CARD_FLAG_FRAMESET.

Introduced CARD_LANG_FRAMESET.

Fixed bug in bucket shakedown code: it crashed with a mysterious error message
("Unexpected EOF") when there was a bucket larger than the shakedown buffer
and this included even deleted buckets (which was the cause of the latest crash
on sherlock5: shakedown on a corrupted database patched the corruption by
a large deleted bucket and when I ran it again, it crashed again due to this
bucket).

Now we are able to cope with deleted buckets of any size and when we
encounter an oversized non-deleted bucket, we bail out with a proper
error message.

Oh, those misleading comments...

Put back the work-around for objects generated by an old version of the
gatherer, because some of them still haven't expired from the db.
At least the work-around is cleaner this time.

Get a list of config files explicitly, so that the Makefiles can decide
what will be installed and what won't.

Also added an exception for cf/catalog-rules which is an automatically
generated file and we install it only if it doesn't exist yet.

Changed processing of configuration files.

run/cf is no longer a symlink to ../cf, I've replaced it by make
rules which generate the configuration files in run/cf by preprocessing
those in cf according to CONFIG_xxx switches in config.mk (in the same
way as we already do in mkdist).

I'd like to migrate many settings local to the Centrum configs to the
main CVS without having to update several separate copies of the config.

*** CAVEAT ***  After updating to this version, you need to either
make distclean or

rm run/cf
mkdir run/cf

manually _before_ running make, else could lose your config files.

Renamed SHERLOCK_CONFIG_xxx to CONFIG_xxx to be consistent.

Added routines for easy dynamic creation of strings.

We already should announce ourselves as v2.4.

a bug fixed, it reveals when you want to process the bucket-file more times

Sped up utf8_strlen(), introduced utf8_strnlen().

added utf8_strlen()

Added (WORD|META)_TYPES_ALL_LANGS.

Tried to use libm for calculating logarithmic frequencies of words,
but ran into problems with function name collisions. Damn the C's flat
namespace!

Renamed our log to log_msg, but keep the original name as a macro
expanding to the new one. Also renamed log2 (which is currently not used
anywhere) to fls (find last set, akin to ffs).

Introduced lib/math.h which is a wrapper around <math.h> handling
name collisions by clever macro tricks.

One more #fix.

Remember to use xfree().

A stupid mistake. Former one.

Added another version of bgets() which doesn't die on too long lines and
reports an error instead.

I wrote it originally for new http.c, but the required http.c changes were
going to be too extensive, so I postponed the changes and this function
is currently unused, but probably worth saving for the future.

Also optimized the existing bgets functions a bit.

Removed a FIXME: the page cache balancing is certainly not optimal, but it
deserves more extensive changes than just tuning of contstants.

Split word types and meta types also in the free version.

Fixed off-by-one error.

Defined MAX_ATTR_SIZE and added checks to obj_write() to enforce it.

Don't forget to update this one.

Object functions are numerous enough to deserve their own header file.

Added obj_write_nocheck which writes the object as quickly as possible,
avoiding checks for strange chars which are probably useful only in the
gatherer anyway.

Some more cleanups.

OBJ_POOL_SIZE no longer needed.

Oops, forgot this one.

Objects always live in somebody else's pool.

obj_free and odes->local_pool are gone.

The changes were worth updating copyright :)

Replaced various attempts to speed up use of obj_add_attr() by simple
internal caching: odes->cached_attr points to the last attribute added
and it's guaranteed to be the last in its chain.

Removed oattr->last_same, the gain isn't worth the extra complexity
involved.

The $(LIBxxx) mechanism proved useful, so I'm switching to it for all other
libraries to simplify the Makefiles a bit. Unfortunately, this introduces
ugly ordering constraints on includes in top-level Makefile, but they can
be lived with.

get_func comment was outdated.

More configuration enhancements:

o  gatherer, indexer and search server can be left out, which can be useful
   when using Sherlock for indexing databases, because unusual custom.h
   with standard word types missing makes many gatherer modules uncompilable.
o  searching by document age is optional, you can switch it off to save
   index space.
o  indexing of file types is now partially supported by the default configuration,
   because I'm going to use the bottom 5 bits of the file_type (which were
   used only for images) for storing language code of text documents and
   it certainly isn't a centrum-specific thing. On the other hand, I'd like
   to keep the exact meaning of file type codes application specific, so the
   actual matching of file types is left in the customization header. Again,
   you can switch this off to save index space.

Moved indexer/oook.c (the catalogue & keyword processor) to where it
belongs: among other centrum-specific modules.

Cleaned up custom rules in makefiles: instead of defining lots of variables
for custom modules, allowed config.mk to specify a custom submakefile.

Oops, a bug in the profiler, causing time travels :)

Added functions for manipulating bit arrays. One day, an optimized
version for i386 using bts instruction et al. will appear.

MJ has forgotten to add ASORT_EXTRA_ARGS at the end of the sort procedure
declaration

Added function for measuring bucket file size (as an oid) and used it
for better progress indicator in the scanner.

Improved array sorter according to Robert's suggestions.

When killing dots at the end of host name, remove _all_ of them, not just
the last one. Without this, url_canonicalize on already believed to be
canonic names wasn't constant which causes havoc in gatherd.

Added generic array sorter.

Benchmark results on my K6/400MHz:
mj@albireo:~/src/sherlock/run$ bin/asort-test
qsort: 19209 ms
asort: 7544 ms

Line buffers are back on their original sizes, closes Bug #251.

In some cases, nextprime(x) could have been equal to x (reported by Milan).