Added very simple functions for emulating a fastbuf stream over a static
buffer. The struct fastbuf is allocated statically as well to make everything
as simple and as fast as possible.

1. db/catalog.gz ---> db/catalog
+ it is not sent to oook and feedback-cat via pipes, but it is read by them as a file
+ it is read in 2 passes and the URL's are identified in the 1st phase (catalog.c)

2. URL fingerprinting always uses cf/url-equiv, even in the indexer

A better function for hashing integers (the old multiplier was completely
bogus as it didn't fit in a 32-bit integer) and also a new function
for hashing pointers.

I decided to turn off cf/url-equiv for indexation.  however, after the indexer
is run on regular sherlock5, we cannot manually delete this file for indexer
and restore for gatherd.  so I am creating a new parameter that controls
loading this prefix table.

Added some headers to avoid confusion of our own developers ;)

Added special mode for sorting of regular files.

bbcopy() can be asked to copy the rest of the input file by specifying
a length of ~0U.

Undefine all the parameter macros at the end. (The hash tables already do it
and it showed up to be very useful.)

page_size -> PAGE_SIZE

And do not forget .cvsignore, of course.

- giant class flag moved from attributes to card-notes
- merger only marks documents by giant flag and
  the penalization is done in chewer
- added new weight attribute to cards: Wp means weight after penalization
  added penalization notes in the form .Pg-50 (giant class penalized by -50)
- chewer.c: card_write_start() does NOT write struct card_attr and it needs
  to be done manually later
- chewer.c: weight records are sorted chronologically, I like it more :-)

this could never have worked

CVS should ignore files created by compiling Ulimit

to supress annoying warning messages during make clean

INDEX_VERSION fixed

indexer rewritten to generate redirect brackets
+ code written, debugged, and polished

in particular, labels contain new attribute redir_id and attribute priority
has been deleted

we need to update search/cards.c

Perl module for setting ulimits.
Should solve bug #538.
[warning - compiling perlXS is ugly ;) ]

introduced type bitarray_t

We don't need this in v3.0.

Forgot to add fb-limfd.

Replaced the "orig_len" field in bucket headers which was never used
for anything useful by bucket type code.

Added fastbuf backend for reading from file descriptors with a given limit.
(Very useful for communication over sockets.)

Too much copying and pasting :-)

Good luck, v3.0!

Updated version numbers.

Added UTF8_SKIP_BWD.

Oops, forgot the values.

New tables generated from UnicodeData 4.0.1 using the new scripts.

Several improvements to the unicode library:

  o  All tables are now const.
  o  Redefined the categories:
- now using _U_* instead of _C_*
- introduced _U_LETTER modified with either _U_UPPER or _U_LOWER
  or none (titlecase letters, letter modifiers etc.)
  o  Added the ligature expansions and _U_LIGATURE.
  o  Minor cleanups.

Don't forget the ligtable.

Constified.

Added a table of compatibility ligature expansions.

Added const to chartype tables. Also removed _c_collate and _c_order
which didn't exist since the last glacial era.

One more :)

Expect the unicode data directory to be linked to by "unidata".

Updated to new names of scripts.

Renamed unisplit to gen-basic.

Renamed tabgen to gen-charconv.

Renamed mkunacc to gen-unacc.

Renamed charset import scripts.

Renamed mkuni to add-charnames and changed the path to the UnicodeData file.

Obsolete and also some of the Slovak characters were missing.

This was testing functions which didn't exist :-)

The signature charset hasn't been used for ages.

Export cfpool -- sometimes it's much convenient to pass just a pool than
a pointer to an allocation function.

Added a simple utility for generating changelogs.

These files have been obsoleted by the new customization system.

Search for custom.h at the right place.

Added a hook for indexing custom string types.

Added a lot of missing #include <alloca.h>'s.

Added charconv wrapper around fastbuf (currently output only).

EXTRA_RUNDIRS needn't form a strict hierarchy, so add a -p.

Added a set of functions for sliding window mmapping of large files.
Will be used by the indexer to access the card notes array.

Replaced enums by #define's in definitions of word, meta and string types.
It's less elegant, but it gives a chance to detect whether a specific type
exists or not.

Allow submakefiles to add their own installation directories and to override
the run/bin directory. Propagate the directories to the installer.

Updated the installation script to always check for missing directories.

Recognition of variable types in parse_args is now automatic.

Added 'array' feature to handle multiple variable occurrences.

Just to make it more comfortable.

Patch to allow processing of multiple occurences of the same argument.
Now it returns a string of values separated by "&".

fixed headers

fixed generated header comment

regenerated by misc/generate from updated charset tables

added (and renamed) all iso-8859-* charsets

added (and renamed) all iso-8859-{1,2,...,16} charsets

adapted to UNDEFINED characters

upgraded from ftp.unicode.org and also renamed

updated according to the newest tables downloaded from ftp.unicode.org

imported by `trunicode` from ftp.unicode.org

added a tool for importing mappings from ftp.unicode.org
I will rather use this source than `recode`

Several changes mixed to one commit (sorry, the CVS didn't work for a long time):

o  Changed index format ID.
o  MAX_COMPLEX_LEN went with the rest of complexes.
o  Introduced data types and handling macros for context bucket ID's.
o  Returned fp_hash() to its original definition -- the previous "fix" was
   deadly wrong: I confused indexing of bytes with indexing of words.
   Also, the fp_hash() has to be monotonic wrt. fpsort's order which the
   new one wasn't.

Define CONFIG_CONTEXTS whenever we use contexts.

Add GET_U8 and PUT_U8 for completeness.

fixed handling of characters lost by recoding

added tools for stealing translation tables from recode

sanity checks:
- iso-8859-{1,2} tables are identical after extraction with the tables imported
  by MJ
- cp1250 tables is quite different from the existing win-1250 table, but I do
  not know which one is right

a little bugfix of the test-tool

one test has been meanwhile adjusted

I have meanwhile fiddled a little with #include's after I sent it to MJ

Fix bug in traversing of empty heap.

Tweak the binomial heaps a bit to make them easier to use.

Added a very simple generic implementation of binomial heaps. Their main
virtue is that they are fully dynamic, needing no upper bounds on the
number of items nor frequent reallocations. Their main disadvantage is
the need of 13 bytes per node.

I did implement only those heap operations I'll use in the gatherer,
I'll add more later.

<...> => "...".

Casting addresses to longs is not portable, use addr_int_t instead.

Corrected a couple of comments.

Removed duplicate definition of DEBUG and a couple of singned/unsigned
comparison warnings.

Minor changes to the RB-tree code:

o  Static declarations are much more common, so replace TREE_STATIC
   by TREE_GLOBAL (which does just the opposite).
o  <xxx> is reserved for system includes, use "xxx" instead.
o  Use TREE_TRACE instead of TRACE to avoid collisions with other tracing macros.

Added generic red-black trees Robert has sent to me some months ago.

They probably won't get used just now, but this is a good place to keep
them in.

Replaced clist_insert() by clist_insert_{before,after}().

Added clist_empty() and CLIST_WALK_DELSAFE.

Added a straigtforward implementation of circular linked lists. They are
a small bit less efficient than our lists.h lists (testing against zero is
faster than testing against list head), but they are nicer and they save
one pointer per list head which makes them better for hash tables etc.

Added prefetch functions.

ASSERT is unlikely.

Added macros for hinting branch predictor.

Added mapping of URL keys according to the prefix equivalence table.

Functions working with tagged characters moved from index.h to a new
header file tagged-text.h. This also revealed a couple of unintentional
indirect includes.

Split URL fingerprinting inside indexer from the other fingerprints.
URL fingerprints will include server equivalence mappings and other
such hacks (for now the "www." hack), the other fingerprints (used
e.g. for hashing of strings in the index) won't.

Oops, the hash function for fingerprints was terribly biased. There should
be XOR, not OR. Also, the shifts are meaningless, because the fingerprint
hash is believed to be very well distributed.

Beware, this means that the current mainline is incompatible with string
indices generated by v2.4!  For now, I'm not increasing the index version,
because word matching still works with old indices and I want to profile it.

bugfix found by gcc-3.3

Make sherlockd calculate per-filetype number of matched documents, including
those failing the FILETYPE filter. This breaks the nice abstraction of hiding
all filtering under EXTENDED_ATTRS, but it will allow us to get rid of lots
of STATS queries.

Started v2.5.

Added a new card flag for cards in giant classes. Don't index selected meta
types in such cards.