Moved customizations for Centrum to centrum/custom.

lib/custom.h now contains only generic definitions which will appear
in the freely distributable version.

After discussing the future of the SQL gatherer module with Milan,
we've decided to remove it (but it still remains in the CVS history,
of course).

Cut-and-paste comments :-)

Failed ASSERT now dumps core.

Oops, a memory leak in the presorter.

Expand shell metacharacters (most importantly "~") in destination name.

No more a development version.

Added an "install" target.

Oops, forgot a ')'.

WORD_TYPES_HIDDEN shouldn't be considered META by default.

WT_LINK shouldn't be considered accent-less. This might cause sherlockd
to fail to find matches in link texts from non-accented documents to
accented ones, but I think that it's more acceptable than producing
false matches. Unfortunately, we how no ways to describe accentedness
of a part of document text.

added v?xprintf() functions, they will be used in the filter dumper

it is usable, for example, for printf()'ing to anything (like fastbufs)

HASH_WANT_FIND_NEXT fixed and its declaration changed

added the capability of hashing/finding more records with equal value
of the key

Increase line buffer sizes to 4096 bytes. Current gatherd really can
produce such long lines under several circumstances, need to examine
how is that possible.

Due to a bug, the "fsck" mode was unable to fix broken trailers.

When an inconsistency is encountered while shaking down the bucket
file, recover all data prior to the inconsistency by marking the
space between read and write pointer as deleted buckets (need to
use more of them if the space is too large).

When moving attributes, don't break the chain.

Implemented merging of catalog attributes to the index. Just place the
catalog dump to db/catalog.gz (e.g., by running utils/fetch-cat.sh)
and run the indexer.

Unfortunately, we've just filled up all the available word types :-(

Removed obsolete examples of custom attributes. The image search attributes
themselves are a good enough example.

When O_APPEND is given to bopen(), don't forget to set fb->pos and fb->fdpos.

dmalloc and efence work again (ported from rel-2.1 branch).

malloc -> xmalloc.

Introduced SKIP_TAGGED_CHAR.

UTF8_SKIP now recognizes the real end of the UTF-8 character
and doesn't get confused by garbage after it.

Added a macro UTF8_SKIP for skipping a UTF-8 character without decoding it.

New functions for manipulating attribute lists: obj_prepend_attr()
and obj_insert_attr().

Merging IS branch: New customization code and its use for images.

The universal hash table generator now uses prime table sizes instead of
powers of two. This slows down all operations a little as we now need
to perform division instead of just AND-ing with a mask, but it allows
us to use the new hash functions in hashfunc.h which are significantly
faster than the original ones (at the expense of having bad distribution
modulo non-primes).

Also changed the limit logic to avoid rehashing when the table is already
too small or too large.

SHIFT_BITS changed from 5 to 7 to fit the UCS-2 strings better

loop unrolling turned on for hashfunc.o

wow!  i have optimized str_len_uns() yet more :-)  now it is not slowed
down when a 0x80 byte is present.  a slight simple change.

CONST attribute of functions noted in a better place

Moved MAX_COMPLEX_LEN to index.h.

- str_hash.[ch] renamed to hashfunc.[ch], the functions renamed
- deleted hash-{block,istring,string}.c, their functionality merged into
  hashfunc.[ch]
- str-test.c rewritten to use the new name-style, char->byte, more tests
  added

__attribute__((const)) replaced by CONST

If have GET_O and GET_P, we should have PUT_O and PUT_P as well.

Prevent multiple inclusion.

ST_BACKREF is gone. Frame backlinks are not indexed at all (it makes no sense
to search by them), redirect backlinks are indexed as ST_URL.

after a long time of experimenting, added a support for unaligned parameters

when testing benchmarks of string operations, a user specified alignment
is taken into account

added macro UNALIGNED_PART()

Warning fixes.

Added a macro for __attribute__((const)).

Robert, please update your hash functions to use this.

Make PROF_STR really work.

Index reftexts, but don't search in them by default.

Added block hash function.

Added word types for file name keywords and link texts.

Don't forget to define SHERLOCK_HAVE_PREAD.

Shut up signed/unsigned warnings.

Added bopen_tmp() for opening of temporary files.

Replaced sorter_open_tmp() by bopen_tmp().

- added str_hash.[ch] for fast evaluation of str_len() and str_hash()
- added a tester/benchmark str-test.c, it is not compiled by default

mmap_file() calls die() instead of returning failure.

Image objects are now marked with a special flag and the MD5 hash is calculated
from both text and the thumbnail.

Added bget_tagged_char().

Need to include unicode.h for GET_UTF8.

Use one-parameter bungetc() everywhere.

bungetc() is no longer passed the character to unget -- it always ungets
the last character read.

bputc() and bputw() are now passed unsigned int instead of byte/word.

Changed null version of prof_format(), so that we don't need string.h.

string newline fixed

sign mismatch fixed

fixed missing includes

Removed partial support for LFS on Linuxes with pre-2.1 glibc.

Added bitsig_free().

Implemented base-224 encoder and decoder.

Finally I realized why we were using secondary sorting on site_id
by default :-)  I was originally searching for some magic inside the
search server which needed that to work and completely missed the
simple fact that the front-end wants the results this way :-)

So I'm resurrecting it, but now as an ordinary instance of the secondary
sorting code I've introduced yesterday. The CUSTOM_SORTING switch is gone,
sorting by site ID and page age works always.

Also, I've simplified reverse sorting by introducing a separate XOR mask.

Forgot to commit this one during the "search by age" changes.

Added secondary sorting (i.e., breaking ties when two documents have the same Q)
on any of the custom attributes. Just define CUSTOM_SORTING in lib/custom.h.

I've also removed secondary sorting of result heap by site ID inside refs.c
-- according to my best knowledge it wasn't required anywhere.

Maybe we can remove the CUSTOM_SORTING switch and just leave the sec_sort_key
in struct result_note initialized to zero, but it would cost us 4 bytes per
result_note which I wanted to avoid.

Added support for indexing/searching by custom attributes.

See the CUSTOM_ATTRS macro in lib/custom.h for an explanation.

Added .cvsignore files for all pieces of source which are machine-generated.

All configuration options (except for custom attributes which still dwell
in lib/custom.h) are now stored in config.mk to make them available to both
makefiles (conditional linking etc.) and C programs (lib/autoconf.h is
generated from config.mk by a simple shell script).

This gives an easy way how to create special-purpose modules (like the
SQL gatherer) which need extra libraries -- just make them a compile-time
option ;)

Added a generic universal multi-purpose magical hash table module.
Look at introductory comments in lib/hashtable.h to see all the features.

Generic programming in C is a real adventure, but an afternoon spent
with CPP quirks is a holiday when compared with C++ templates :-)

Added a library module for generation of cryptographically secure
random numbers.

No longer need to handle undefined MAP_FAILED.

Added CT_INCOMPLETE_SECTION which is equivalent to CT_SECTION except
that unknown variables in such sections are not reported as errors.

Added a reference to the original article.

Improved the random generator as suggested by Robert.

Added a data structure for very efficient probabilistic representation
of sets. For more info, consult comments at the start of bitsig.c.

Development branch is now called 2.2a.

empty section of configuration item forbidden

Don't call the callback function twice when deleting a bucket.

Added "sql" to the list of protocol names.

Initial version of SQL gathering utility gsql added.
Milan

Clarified comments.

Added url_auto_canonicalize().

db-rebuild replaced by db-tool which allows not only database
reconstruction, but also dumping and undumping (useful for
conversion from SDBMv1 to v2).

New version of the SDBM library.

Now supports databases larger than 4G (the internal structure is the
same, but page pointers are in pages instead of bytes).

Warning! The database files are _not_ compatible with the previous
version. Use db-tool to convert your databases.

Also exported sdbm_hash() to allow presorting.

bgetw() returns int instead of word, so it's possible
to detect EOF.

Rewrote the profiler.  Each module can now choose its own profiling method
without recompiling the library.

Added CPU and OS type defines.

Added a Poor Man's Profiler :-)

HEAP_DELETE: Copy the `pos' parameter to a temporary variable as soon
soon as possible to avoid problems with callers supplying us with expressions
which could change during heap operations.

Log file names are now allowed to contain strftime() conversion specifiers.

Moved all customizable parts of configuration and index format
(i.e., those depending on user attributes or word types, not on
our compilation environment) to a new file.

Custom configurations (indexing of objects generated from a database
and similar cases) should require only modifications of cf/sherlock
and lib/custom.h since now.

Insert is now capable of inserting a sequence of blank line separated
objects.

url_component_separators has a default value "" to accelerate
url_has_repeated_component() if not reconfigured

url_has_repeated_component() fully implemented and tested

added skeleton of not yet implemented function url_has_repeated_component()
and its configuration items

die() called with string containing newlines replaced by fputs(stderr) and exit()

CF_USAGE printed (description of -S and -C parameters)

added CF_USAGE

typo fixed