Changed DEBUG to CONFIG_DEBUG to avoid conflicts with various libraries.
(BTW we were probably slowing down the regex code by defining DEBUG.)

Tagged current sources as rel-3-3 (bug fixes only)
and moved mainline to v3.4.

Double oops.

Oops.

Added sh_file_size()  (stat() isn't reliable on large files on some systems).

Introduced relative counterparts of url_canon_split() and url_auto_canonicalize().

Also added parameter names to all prototypes.

Let bskip() return success.

obuck_slurp_pool() is now able to skip unwanted buckets. Some day we can
improve it by sizing the buffer adaptively, but not now.

A couple of minor improvements to the generic hash tables:

o  Comment on HASH_GIVE_ALLOC corrected, the automatic choice between
   normal and pooled allocation was never implemented, because we don't
   have enough information to decide the right pool size. HASH_AUTO_POOL
   has been implemented instead.
o  Pooled allocation no longer conflicts with remove/delete, it just
   produces memory leaks within the pool, which are usually harmless.
o  Added HASH_TABLE_ALLOC switch.
o  Internal decisions to enable HASH_CONSERVE_SPACE were made too late
   and didn't influence hash node layout. Fixed.

Thoroughly tested and fixed a couple of bugs.

Fixed a couple of bugs.

No exceptions for url-equiv.

tested MJ's patches on charconv.  they successfully converted everything
I tried, including the tests that failed before

- bugfix: when disabling compression, change bucket_type
- lizard_bwrite() returns the final bucket_type instead of the number of
  written bytes

added sepsplit() in wordsplit.c

Added initial support for areas to the indexer. Merging not restricted yet,
but propagation of area ID's works.

Put debug/custom last, so that one more manual recompile won't be needed after
check-customs when debugging.

Check more configurations.

if b?get_attr() returns 0, it clears attr->attr too

a really essential bugfix

Use GET_UTF8 instead of GET_UTF8_CHAR (this costs us an extra unnecessary
test for character < 0x80, but it is worth the simplification).

Added unit tests for UTF8 macros.

Optimized and simplified UTF8 macros. In fact, turned most of them
to inline functions.

This resulted in a couple of const/non-const problems, hence the casts
in GET_UTF8{,_32}.

renamed attr_set_type() to put_attr_set_type()

- added b?get_attr()
- added {get,put}_attr_set_type()

- added get_attr() and bget_attr() with get_attr_set_type()
- use get_utf8_32()

- use put_utf8_32()
- attr_set_type() renamed to put_attr_set_type()

- added {get,put}_utf8_32() for all full 6-byte codes
- fixed UTF8_SKIP_BWD(); it is never used
- upgraded utf8_space() and utf8_encoding_len()

- do not try to compress when liz_min_compr == 0
- renamed function
- lizard_*read() tests EOF and invalid bucket_type

typo

renamed function

A better implementation of vbprintf() which avoids copying if there is enough
room in the fastbuf's buffer.

Comparisons of type `if (f->bptr + length > f->bstop)' could overflow
if `length' was much larger than the buffer size and the buffer was situated
at the end of the address space. Solved by introducing bavail{r,w}() and
using it systematically.

bugfix in obuck_slurp_refill

cards format has changed, do upgrade the version of the index

added a module that supports transparent compression of data streamed into
an output fastbuf.  on the other side, reading from the stream is also
transparent

* will be used for cards
* untested

Accept V33_LIZARD buckets without body -- such buckets can legally
arise when shep-cleanup trims an inactive bucket.

Also added debugging messages which helped to verify that zero-copy
is really invoked where it should.

Added sync_dir().

Added bfilesync().

Made `buckettool -x' show the header if in verbose mode.
Also use bbcopy_slow() for copying bucket contents.

Added obj_find_anum() which is obj_find_aval() combined with atol() and
a default value (this is a very common idiom at many places).

Added size_attr() which calculates size of a given attribute in the
current bucket format.

UTF8_SPACE turned to an inline function.
Added utf8_encoding_length() which measures expected length of an UTF-8
sequence according to its first byte.

obj_add_attr_ref() with an on-stack buffer is not advisable, better
allocate the buffer in the object pool.

When reading, the data end at b->bstop, not b->bufend.

Bucket fastbuf's have to be seekable, since shep-reap seeks on them
(although the seek will be inside the buffer [and thence optimized out
by bseek()] under all reasonable circumstances [it was triggered by
a bug in buck2obj]).

do not read the whole bucket into memory if only header is needed

New attributes are now added at the end of the list.

tiny bugfix :))

tiny optimization: do not make 2 function calls in adler32()

Fixed two bugs in parsing of buckets (one of them introduced by me a couple
of hours ago, the other aged).

Buckets of unknown format should be skipped properly, otherwise
bucket fetching can become confused.

`buckettool -c' (cat) now separates buckets by an empty line.

Parsing of PLAIN type buckets also ends after buck_len bytes.
obj_read_multi() is gone.

Reading of V30 buckets was broken (for example it didn't work when a bucket
had only header and no body). When fixing it, I've modified it to terminate
after buck_len bytes, so the terminating NUL character is no longer needed.

prune the original source code yet more

tiny bugfix

taken much faster implementation of Adler32 and put into a separate source-code

add Adler32 checksum to compressed V33 buckets

added adler32 functions

automatically add 0x80000000 to bucket-type specified on the command-line

improved an error message to catch an error

Added {b,}put_attr_separator().

Introduced late matchers and custom statistics [see Bug #860]. Converted
FILETYPE to this mechanism, it's no longer an exception.

pools.h -> mempool.h

I always wanted to rename the rather inconsistent memory pool modules.
After the big library earthquake I caused with my unicode.h changes,
this is the small fish, so let's go.

Arranged the module list.

Moved object reading and writing functions where they belong.

Many programs now don't need to link with libcharset.

Renamed fb-printf to ff-printf to keep fastbuf front-ends and back-ends apart.

Adapted to new unicode includes.

Adjust includes.

Unicode character type functions moved to charset/unicat.h
charset/unicode.h removed, because it's now empty.

Gone (some functions moved to the main lib, some were unused).

Moved the basic Unicode and UTF-8 functions to the main library.

Moved UTF-8 streams to lib/ff-utf8.[ch]  (`ff' prefix will denote fastbuf
front-ends, `fb' will be the back-ends).

patch obj_write{,_nocheck}() to use bput_attr_str() to support both V30 and V33 buckets

fbbuf_init_read() now has can_overwrite as an extra parameter.

Use bfilesize().

Introduced bfilesize().

Removed references to buck2obj.h and obj2buck.h.

Added #ifdef guards.

Merged obj2buck.h and buck2obj.h to object.h, the number of includes
started to grow insane.

No need to test for NULL when reallocating.

Added a note on xrealloc(NULL, x).

Use bbuf.h.

Include <stdlib.h> to get free().

Use lib/bbuf.h here.

Applications of gbuf.h to byte arrays are very common, so I've introduced
a special include for them.

can_overwrite_buffer fixes for bucket.c: added f->buffer resetting and
also don't forget to set can_overwrite_buffer on slurp fastbufs (this
involves a little dirty trick, see the comment).

fb-limfd was setting can_overwrite_buffer=2, but it forgot to do the buffer
resetting magic needed by bdirect_read_commit_modified().

Complain loudly if anybody asks us to generate buckets of an unknown
type (this can happen e.g. in the buckettool).

Small improvements to buckettool:

  o  Options are sorted alphabetically.
  o  dump_oattr() replaced by dump_oattrs() which dumps all the
     attributes.
  o  ASSERT that the bucket type is known.

- use buck2obj_parse() instead of obj_read_bucket() to separate the header
  and the body
- use the new interface for writing the attributes to the buckets

writing attributes to buckets totally rewritten according to MJ's remarks

- obj_parse_dump() generalized to store apart the header and the body, and
  renamed to buck2obj_parse()
- added new obj_parse_dump() with the same interface as before; it is a
  wrapper of buck2obj_parse()

a typo and FIXME

now, I have no contribution into the fastbuf code :))

Adapted buck2obj to the new rewritable buffers. I don't like too much
what I did with the `copied' variable, but I didn't know better.

Also, I've added the missing bdirect commits.

A better implementation of overwritable buffers.

one mis-commit fixed