New version of the SDBM library.

Now supports databases larger than 4G (the internal structure is the
same, but page pointers are in pages instead of bytes).

Warning! The database files are _not_ compatible with the previous
version. Use db-tool to convert your databases.

Also exported sdbm_hash() to allow presorting.

bgetw() returns int instead of word, so it's possible
to detect EOF.

Rewrote the profiler.  Each module can now choose its own profiling method
without recompiling the library.

Added CPU and OS type defines.

Added a Poor Man's Profiler :-)

HEAP_DELETE: Copy the `pos' parameter to a temporary variable as soon
soon as possible to avoid problems with callers supplying us with expressions
which could change during heap operations.

Log file names are now allowed to contain strftime() conversion specifiers.

Moved all customizable parts of configuration and index format
(i.e., those depending on user attributes or word types, not on
our compilation environment) to a new file.

Custom configurations (indexing of objects generated from a database
and similar cases) should require only modifications of cf/sherlock
and lib/custom.h since now.

Insert is now capable of inserting a sequence of blank line separated
objects.

url_component_separators has a default value "" to accelerate
url_has_repeated_component() if not reconfigured

url_has_repeated_component() fully implemented and tested

added skeleton of not yet implemented function url_has_repeated_component()
and its configuration items

die() called with string containing newlines replaced by fputs(stderr) and exit()

CF_USAGE printed (description of -S and -C parameters)

added CF_USAGE

typo fixed

Added I/O functions on addr_int_t.

Added CPU_64BIT_POINTERS.

Added shakedown, but don't use it on real gatherer bucket files
since it buckettool doesn't update any other gatherer structures.
The expirer is the right place to go.

Added function for shaking down the bucket file.

Added new charsets: windows-1250 and x-cork.

Better encapsulation of the ipaccess filter.

Added generic functions for IP address access lists.

bugfix

Minor optimization of GET_TAGGED_CHAR.

Audited TODO list and bumped version number to 2.0.

Relax the accent match rules of "auto" accent mode: if some _outer_ word
matches only without accents in an accented document and the match is
in URL keywords, accept it  (we know it will be real match as the word
is outer). Bleeeech, it's ugly.

URL words split to two categories with different weights.

Added URLWORD search specifier.

Added indexing of URL words (partially ported from our old alter ego).

Robert, please ignore word types present in WORD_TYPES_HIDDEN when
searching for contexts -- URL's and other tricky stuff shouldn't show up.

Cleanup of word type name macros.

Cured memory leak.

Cupcase() works even for non-letters, so there is no need to call Cupper().

<ctype.h> dependency deleted

test audited

syntax of regular expessions changed to extended
regex-test extended to test this

rx_compile() can now compile with IGNORING CASE enabled too
regex-test added

cards.c printed tags converted tolower

added WT_NAMES from WORD_TYPE_NAMES temporarily, MJ: please check it

Mapping of zero-length files returns just a random non-zero address.

With this fix, empty indices are generated correctly.

Added optional work-arounds for path underflows and leading/trailing
spaces in URL's.

Added ASSERT checks for tag byte syntax. Didn't find any errors yet.

Load the default config file on first non-config option (several options
require config to be loaded).

Removed tempfile functions (nobody uses them and they probably belong
to fastbuf.c anyway).

Added ABS macro.

Removed FIXME.

Slow case of b(get|put)_utf8 no longer inline.

CVS repository cleaned up a bit:
gather/{objdump.c,dumpconfig.[ch]} and indexer/idxdump.c --> utils
utils/lfstest.c deleted
filter/ftest is not compiled by default
rule for making lib/lfs-test.c added into Makefile

Oops, endianity problem in reference files.

Better setproctitle() inspired by sendmail's one.

Define setproctitle() and use it for gatherer thread status reporting.

Moved generic heap macros to heap.h.

Changed locking mechanism of the bucket library to fcntl() instead
of flock() as the flock locks have totally broken semantics -- they
happily permit multiple locks on a shared fd!

Use sh_ftruncate() instead of ftruncate().

Buckettool converted to standard command line parsing,
so that config files work there as well.

Bucket file name and I/O buffer size are no longer hard-wired.

Audited locking, but found no bugs.

Added macro for fetching of u32's aligned on 2-byte boundary.

Some typecasts due to LFS.

Created a new include for efficient access to unaligned data.
Updated fastbuf to use it.
Removed sh_foff_t -- all modules should use sh_off_t instead (the only
  case where it would differ is the 2G--4G range of file sizes you get
  when LFS is turned on and LARGE_DB turned off and it's not interesting
  anyway)
bgeto/bgetp selection is done in config.h.
LFS is turned on by default.

Removed old incarnation of CLAMP.

Added a couple of useful macros: MIN, MAX, CLAMP, ARRAY_SIZE.

Removed NULL as it's already defined in config.h.

Added sh_mmap().

For now, only the "use glibc" interface works, the others miss several
essential functions (namely sh_ftruncate and sh_mmap).

open -> sh_open

Use sh_open instead of open.

Don't crash when the last fragment is of zero length.

No more SEGV's on truncated files.

The StringMap file contains an end marker pointing past the last
string reference.

Introduced obuck_get_pos(), converted gatherd limits to use it.

bugfix

Removed cf_read() and cf_default_*().

obuck_size() deleted

cf_default_init() replaced by direct access to cfdeffile, the default value
is DEFAULT_CONFIG
cf_default_done() replaced by automatical call if getopt() returns -1

cf_default_{init,done} interface used instead cf_read

added cf_default_{init,done} for setting the default config filename, that
will be automatically readed if not overriden by command-line option

added obuck_size() returning the size of bucket file (for gatherd.c stopping
after maximal size is reached)

Moved fp_hash() to index.h.

Define FASTBUF_BYTES_PER_(O|P).

Added indexer names for word and string type classes.

Defined which string classes contain URL's and which ones case insensitive
strings.

added

Updated the charset conversion library to UniCode 3.0.

Removed ice age relics.

Removed signature tables as they are not used anyway.

Replaced <sys/time.h> by <time.h> where appropriate.

Fixed bug in generating UTF-8 for codes >= 0x800.

Defined a GET_TAGGED_CHAR macro to read our internal representation
of tagged text, mapping the tags to character codes >= 0x80000000.

Generate index cards.

The chewer is complete, but it will probably need a bit of optimization
and fine-tuning when we get some real data. The searching for words present
in the cache doesn't look well.

Indexing of strings.

Some more chewer work...

Added bgets0().

Added a useful macro for value clamping.

Oops, breadb() was wrong.

Added breadb() which acts just like bread(), but die()s if a partial
record is read. This is mainly to avoid consistency checks in main
code path.

SORT_DELETE_INPUT works even with SORT_INPUT_FB.

Declare fingerprints as 12 bytes, not 3 u32's.

Added #define PACKED __attribute__((packed)).

Added merger.

Added unmapping and writeable mappings.

Scanner improvements: create redirect backlinks, detect empty documents,
mark accented documents.

Testing programs are not build by default.

Added URL fingerprints.

Added bputs0() -- put a null-terminated string.

Shut up warnings.