SHERLOCK_HAVE_PREAD -> HAVE_PREAD.

CONFIG_LFS has been removed, CONFIG_LARGE_DB got replaced by CONFIG_LARGE_FILES.

Moved oid_t to sherlock.h.

Moved the lizard-fb module to Sherlock library, because it's heavily
dependent on the bucket types. The rest of LiZaRd should better remain
in libucw, it's very useful outside Sherlock.

Configure libucw according to Sherlock config.

Moved CGI.pm and Query.pm to Sherlock library.

Split library functions to libsh and libucw.

Introduced `sherlock/config.mk' which contains non-customizable parts
of the configuration. Moved version and config file name there.

Made DEFAULT_CONFIG optional.

fb-charconv now not closing wrapped stream, only flushing it
updated all places, when used this wrapper and close wrapped stream manually

A minor bug fix to the installer (when installing `dict/cs', `dict'
needn't exist).

Added the `extras' target (initially empty) and INSTALL_RUNDIRS.
`lib' and `bin' are now handled as INSTALL_RUNDIRS.

Partial inlining of bskip().

Introduced COMPARE_LT and COMPARE_GT for comparison functions for arraysort.

Increase CARD_POS_SHIFT on Centrum.

If "Run" is omitted from a test, keep the value from the previous test.

enlarge MAX_ATTR_SIZE

Move all explicit extern declarations of logf() [which is apparently missing
from system includes while present in the library; does anybody know, why?]
to lib/math.h.

Updated test rules.

Added tests for the hash table module.

Added support for dynamically allocated hash tables. Closes Bug #250.

Finally I decided to change the syntax of INDEX_VERSION to better distinguish
between different customizations.

Corrected INDEX_VERSION, documented the rules and added CUSTOM_INDEX_VERSION.

if SORT_PRESORT and SORT_UP_TO are both on, compute the initial number of
runs properly so that we do not run a superfluous pass of sorting

just a bit more funny initialization for the SORT_UP_TO loop

actually, the number of runs is halved during each pass, so take it into
account in the stopping condition

Fixed a bug in parsing of replies -- the parse tree of each card was trimmed
at the first ")". Affected only the free front-end.

bfilesize() returns sh_off_t

SORT_ONLY_PRESORT feature improved into SORT_UP_TO (stop when average run
length reaches a given limit), which is independent on presorting

Split type_flags to 4/4 bits for FILETYPE and LANG

Remember that DEBUG has been renamed.

Added "pre-sort only" mode as Robert suggested.

One more round of changes to the assert code -- I didn't realize that CONFIG_DEBUG
is already used to control compilation of debugging utilities. Introduced
DEBUG_ASSERTS as a separate switch and as a bonus, you can use assertions
selectively (previously, if you have built the library without assertions,
ASSERT couldn't work anywhere, because assert_failed() was incompatible).

Always define the memory allocation primitives with the `sh_' prefix,
so that the basic names (xmalloc etc.) can be modified when needed.

Changed DEBUG to CONFIG_DEBUG to avoid conflicts with various libraries.
(BTW we were probably slowing down the regex code by defining DEBUG.)

Tagged current sources as rel-3-3 (bug fixes only)
and moved mainline to v3.4.

Double oops.

Oops.

Added sh_file_size()  (stat() isn't reliable on large files on some systems).

Introduced relative counterparts of url_canon_split() and url_auto_canonicalize().

Also added parameter names to all prototypes.

Let bskip() return success.

obuck_slurp_pool() is now able to skip unwanted buckets. Some day we can
improve it by sizing the buffer adaptively, but not now.

A couple of minor improvements to the generic hash tables:

o  Comment on HASH_GIVE_ALLOC corrected, the automatic choice between
   normal and pooled allocation was never implemented, because we don't
   have enough information to decide the right pool size. HASH_AUTO_POOL
   has been implemented instead.
o  Pooled allocation no longer conflicts with remove/delete, it just
   produces memory leaks within the pool, which are usually harmless.
o  Added HASH_TABLE_ALLOC switch.
o  Internal decisions to enable HASH_CONSERVE_SPACE were made too late
   and didn't influence hash node layout. Fixed.

Thoroughly tested and fixed a couple of bugs.

Fixed a couple of bugs.

No exceptions for url-equiv.

tested MJ's patches on charconv.  they successfully converted everything
I tried, including the tests that failed before

- bugfix: when disabling compression, change bucket_type
- lizard_bwrite() returns the final bucket_type instead of the number of
  written bytes

added sepsplit() in wordsplit.c

Added initial support for areas to the indexer. Merging not restricted yet,
but propagation of area ID's works.

Put debug/custom last, so that one more manual recompile won't be needed after
check-customs when debugging.

Check more configurations.

if b?get_attr() returns 0, it clears attr->attr too

a really essential bugfix

Use GET_UTF8 instead of GET_UTF8_CHAR (this costs us an extra unnecessary
test for character < 0x80, but it is worth the simplification).

Added unit tests for UTF8 macros.

Optimized and simplified UTF8 macros. In fact, turned most of them
to inline functions.

This resulted in a couple of const/non-const problems, hence the casts
in GET_UTF8{,_32}.

renamed attr_set_type() to put_attr_set_type()

- added b?get_attr()
- added {get,put}_attr_set_type()

- added get_attr() and bget_attr() with get_attr_set_type()
- use get_utf8_32()

- use put_utf8_32()
- attr_set_type() renamed to put_attr_set_type()

- added {get,put}_utf8_32() for all full 6-byte codes
- fixed UTF8_SKIP_BWD(); it is never used
- upgraded utf8_space() and utf8_encoding_len()

- do not try to compress when liz_min_compr == 0
- renamed function
- lizard_*read() tests EOF and invalid bucket_type

typo

renamed function

A better implementation of vbprintf() which avoids copying if there is enough
room in the fastbuf's buffer.

Comparisons of type `if (f->bptr + length > f->bstop)' could overflow
if `length' was much larger than the buffer size and the buffer was situated
at the end of the address space. Solved by introducing bavail{r,w}() and
using it systematically.

bugfix in obuck_slurp_refill

cards format has changed, do upgrade the version of the index

added a module that supports transparent compression of data streamed into
an output fastbuf.  on the other side, reading from the stream is also
transparent

* will be used for cards
* untested

Accept V33_LIZARD buckets without body -- such buckets can legally
arise when shep-cleanup trims an inactive bucket.

Also added debugging messages which helped to verify that zero-copy
is really invoked where it should.

Added sync_dir().

Added bfilesync().

Made `buckettool -x' show the header if in verbose mode.
Also use bbcopy_slow() for copying bucket contents.

Added obj_find_anum() which is obj_find_aval() combined with atol() and
a default value (this is a very common idiom at many places).

Added size_attr() which calculates size of a given attribute in the
current bucket format.

UTF8_SPACE turned to an inline function.
Added utf8_encoding_length() which measures expected length of an UTF-8
sequence according to its first byte.

obj_add_attr_ref() with an on-stack buffer is not advisable, better
allocate the buffer in the object pool.

When reading, the data end at b->bstop, not b->bufend.

Bucket fastbuf's have to be seekable, since shep-reap seeks on them
(although the seek will be inside the buffer [and thence optimized out
by bseek()] under all reasonable circumstances [it was triggered by
a bug in buck2obj]).

do not read the whole bucket into memory if only header is needed

New attributes are now added at the end of the list.

tiny bugfix :))

tiny optimization: do not make 2 function calls in adler32()

Fixed two bugs in parsing of buckets (one of them introduced by me a couple
of hours ago, the other aged).

Buckets of unknown format should be skipped properly, otherwise
bucket fetching can become confused.

`buckettool -c' (cat) now separates buckets by an empty line.

Parsing of PLAIN type buckets also ends after buck_len bytes.
obj_read_multi() is gone.

Reading of V30 buckets was broken (for example it didn't work when a bucket
had only header and no body). When fixing it, I've modified it to terminate
after buck_len bytes, so the terminating NUL character is no longer needed.

prune the original source code yet more

tiny bugfix

taken much faster implementation of Adler32 and put into a separate source-code

add Adler32 checksum to compressed V33 buckets

added adler32 functions

automatically add 0x80000000 to bucket-type specified on the command-line

improved an error message to catch an error

Added {b,}put_attr_separator().

Introduced late matchers and custom statistics [see Bug #860]. Converted
FILETYPE to this mechanism, it's no longer an exception.

pools.h -> mempool.h

I always wanted to rename the rather inconsistent memory pool modules.
After the big library earthquake I caused with my unicode.h changes,
this is the small fish, so let's go.

Arranged the module list.