after a long time of experimenting, added a support for unaligned parameters

when testing benchmarks of string operations, a user specified alignment
is taken into account

added macro UNALIGNED_PART()

Warning fixes.

Added a macro for __attribute__((const)).

Robert, please update your hash functions to use this.

Make PROF_STR really work.

Index reftexts, but don't search in them by default.

Added block hash function.

Added word types for file name keywords and link texts.

Don't forget to define SHERLOCK_HAVE_PREAD.

Shut up signed/unsigned warnings.

Added bopen_tmp() for opening of temporary files.

Replaced sorter_open_tmp() by bopen_tmp().

- added str_hash.[ch] for fast evaluation of str_len() and str_hash()
- added a tester/benchmark str-test.c, it is not compiled by default

mmap_file() calls die() instead of returning failure.

Image objects are now marked with a special flag and the MD5 hash is calculated
from both text and the thumbnail.

Added bget_tagged_char().

Need to include unicode.h for GET_UTF8.

Use one-parameter bungetc() everywhere.

bungetc() is no longer passed the character to unget -- it always ungets
the last character read.

bputc() and bputw() are now passed unsigned int instead of byte/word.

Changed null version of prof_format(), so that we don't need string.h.

string newline fixed

sign mismatch fixed

fixed missing includes

Removed partial support for LFS on Linuxes with pre-2.1 glibc.

Added bitsig_free().

Implemented base-224 encoder and decoder.

Finally I realized why we were using secondary sorting on site_id
by default :-)  I was originally searching for some magic inside the
search server which needed that to work and completely missed the
simple fact that the front-end wants the results this way :-)

So I'm resurrecting it, but now as an ordinary instance of the secondary
sorting code I've introduced yesterday. The CUSTOM_SORTING switch is gone,
sorting by site ID and page age works always.

Also, I've simplified reverse sorting by introducing a separate XOR mask.

Forgot to commit this one during the "search by age" changes.

Added secondary sorting (i.e., breaking ties when two documents have the same Q)
on any of the custom attributes. Just define CUSTOM_SORTING in lib/custom.h.

I've also removed secondary sorting of result heap by site ID inside refs.c
-- according to my best knowledge it wasn't required anywhere.

Maybe we can remove the CUSTOM_SORTING switch and just leave the sec_sort_key
in struct result_note initialized to zero, but it would cost us 4 bytes per
result_note which I wanted to avoid.

Added support for indexing/searching by custom attributes.

See the CUSTOM_ATTRS macro in lib/custom.h for an explanation.

Added .cvsignore files for all pieces of source which are machine-generated.

All configuration options (except for custom attributes which still dwell
in lib/custom.h) are now stored in config.mk to make them available to both
makefiles (conditional linking etc.) and C programs (lib/autoconf.h is
generated from config.mk by a simple shell script).

This gives an easy way how to create special-purpose modules (like the
SQL gatherer) which need extra libraries -- just make them a compile-time
option ;)

Added a generic universal multi-purpose magical hash table module.
Look at introductory comments in lib/hashtable.h to see all the features.

Generic programming in C is a real adventure, but an afternoon spent
with CPP quirks is a holiday when compared with C++ templates :-)

Added a library module for generation of cryptographically secure
random numbers.

No longer need to handle undefined MAP_FAILED.

Added CT_INCOMPLETE_SECTION which is equivalent to CT_SECTION except
that unknown variables in such sections are not reported as errors.

Added a reference to the original article.

Improved the random generator as suggested by Robert.

Added a data structure for very efficient probabilistic representation
of sets. For more info, consult comments at the start of bitsig.c.

Development branch is now called 2.2a.

empty section of configuration item forbidden

Don't call the callback function twice when deleting a bucket.

Added "sql" to the list of protocol names.

Initial version of SQL gathering utility gsql added.
Milan

Clarified comments.

Added url_auto_canonicalize().

db-rebuild replaced by db-tool which allows not only database
reconstruction, but also dumping and undumping (useful for
conversion from SDBMv1 to v2).

New version of the SDBM library.

Now supports databases larger than 4G (the internal structure is the
same, but page pointers are in pages instead of bytes).

Warning! The database files are _not_ compatible with the previous
version. Use db-tool to convert your databases.

Also exported sdbm_hash() to allow presorting.

bgetw() returns int instead of word, so it's possible
to detect EOF.

Rewrote the profiler.  Each module can now choose its own profiling method
without recompiling the library.

Added CPU and OS type defines.

Added a Poor Man's Profiler :-)

HEAP_DELETE: Copy the `pos' parameter to a temporary variable as soon
soon as possible to avoid problems with callers supplying us with expressions
which could change during heap operations.

Log file names are now allowed to contain strftime() conversion specifiers.

Moved all customizable parts of configuration and index format
(i.e., those depending on user attributes or word types, not on
our compilation environment) to a new file.

Custom configurations (indexing of objects generated from a database
and similar cases) should require only modifications of cf/sherlock
and lib/custom.h since now.

Insert is now capable of inserting a sequence of blank line separated
objects.

url_component_separators has a default value "" to accelerate
url_has_repeated_component() if not reconfigured

url_has_repeated_component() fully implemented and tested

added skeleton of not yet implemented function url_has_repeated_component()
and its configuration items

die() called with string containing newlines replaced by fputs(stderr) and exit()

CF_USAGE printed (description of -S and -C parameters)

added CF_USAGE

typo fixed

Added I/O functions on addr_int_t.

Added CPU_64BIT_POINTERS.

Added shakedown, but don't use it on real gatherer bucket files
since it buckettool doesn't update any other gatherer structures.
The expirer is the right place to go.

Added function for shaking down the bucket file.

Added new charsets: windows-1250 and x-cork.

Better encapsulation of the ipaccess filter.

Added generic functions for IP address access lists.

bugfix

Minor optimization of GET_TAGGED_CHAR.

Audited TODO list and bumped version number to 2.0.

Relax the accent match rules of "auto" accent mode: if some _outer_ word
matches only without accents in an accented document and the match is
in URL keywords, accept it  (we know it will be real match as the word
is outer). Bleeeech, it's ugly.

URL words split to two categories with different weights.

Added URLWORD search specifier.

Added indexing of URL words (partially ported from our old alter ego).

Robert, please ignore word types present in WORD_TYPES_HIDDEN when
searching for contexts -- URL's and other tricky stuff shouldn't show up.

Cleanup of word type name macros.

Cured memory leak.

Cupcase() works even for non-letters, so there is no need to call Cupper().

<ctype.h> dependency deleted

test audited

syntax of regular expessions changed to extended
regex-test extended to test this

rx_compile() can now compile with IGNORING CASE enabled too
regex-test added

cards.c printed tags converted tolower

added WT_NAMES from WORD_TYPE_NAMES temporarily, MJ: please check it

Mapping of zero-length files returns just a random non-zero address.

With this fix, empty indices are generated correctly.

Added optional work-arounds for path underflows and leading/trailing
spaces in URL's.

Added ASSERT checks for tag byte syntax. Didn't find any errors yet.

Load the default config file on first non-config option (several options
require config to be loaded).

Removed tempfile functions (nobody uses them and they probably belong
to fastbuf.c anyway).

Added ABS macro.

Removed FIXME.

Slow case of b(get|put)_utf8 no longer inline.

CVS repository cleaned up a bit:
gather/{objdump.c,dumpconfig.[ch]} and indexer/idxdump.c --> utils
utils/lfstest.c deleted
filter/ftest is not compiled by default
rule for making lib/lfs-test.c added into Makefile

Oops, endianity problem in reference files.

Better setproctitle() inspired by sendmail's one.

Define setproctitle() and use it for gatherer thread status reporting.

Moved generic heap macros to heap.h.

Changed locking mechanism of the bucket library to fcntl() instead
of flock() as the flock locks have totally broken semantics -- they
happily permit multiple locks on a shared fd!

Use sh_ftruncate() instead of ftruncate().