cf_default_init() replaced by direct access to cfdeffile, the default value
is DEFAULT_CONFIG
cf_default_done() replaced by automatical call if getopt() returns -1

cf_default_{init,done} interface used instead cf_read

added cf_default_{init,done} for setting the default config filename, that
will be automatically readed if not overriden by command-line option

added obuck_size() returning the size of bucket file (for gatherd.c stopping
after maximal size is reached)

Moved fp_hash() to index.h.

Define FASTBUF_BYTES_PER_(O|P).

Added indexer names for word and string type classes.

Defined which string classes contain URL's and which ones case insensitive
strings.

added

Updated the charset conversion library to UniCode 3.0.

Removed ice age relics.

Removed signature tables as they are not used anyway.

Replaced <sys/time.h> by <time.h> where appropriate.

Fixed bug in generating UTF-8 for codes >= 0x800.

Defined a GET_TAGGED_CHAR macro to read our internal representation
of tagged text, mapping the tags to character codes >= 0x80000000.

Generate index cards.

The chewer is complete, but it will probably need a bit of optimization
and fine-tuning when we get some real data. The searching for words present
in the cache doesn't look well.

Indexing of strings.

Some more chewer work...

Added bgets0().

Added a useful macro for value clamping.

Oops, breadb() was wrong.

Added breadb() which acts just like bread(), but die()s if a partial
record is read. This is mainly to avoid consistency checks in main
code path.

SORT_DELETE_INPUT works even with SORT_INPUT_FB.

Declare fingerprints as 12 bytes, not 3 u32's.

Added #define PACKED __attribute__((packed)).

Added merger.

Added unmapping and writeable mappings.

Scanner improvements: create redirect backlinks, detect empty documents,
mark accented documents.

Testing programs are not build by default.

Added URL fingerprints.

Added bputs0() -- put a null-terminated string.

Shut up warnings.

added cf_item_count()

deleted unused variable prog

added sort-test

Next version of the sorter -- both presorting and unifying works.

sort-test now does just `sort -u' and it's about 30% slower than its
GNU counterpart, probably due to extra copies of sorting keys by our
buffered I/O layer. Fortunately, a typical case will be long data with
short keys where we should be efficient as we can use bbcopy().

cf_get_item added

First version of the sorter. No presorting phase yet.

Added "is_temp_file" attribute which causes automatic deletion of the
file upon bclose().

Don't log pid until log_fork() is called.

Added __attribute__((format...)) to declaration of log(), so that
discrepancies between format string and arguments get easily found.

oid's above OBUCK_OID_FIRST_SPECIAL are reserved for encoding of
error codes and other stuff.

obj_add_attr() now returns head of the attribute value chain, so that you
can easily do:

struct oattr *a;
a = obj_add_attr(obj, NULL, 'x', "val1");
a = obj_add_attr(obj, a, 'x', "val2");

to insert multi-valued attributes quickly.

Added log_fork() which should be called after fork()ing to invalidate cached PID.

Use xmalloc_zero().

Newlines and carriage returns are considered blanks. Carefully checked
all modules using Cspace() and Cblank().

Word type 0 is reserved.

declaration cosmetic fix

HTML parser basically works. A *lot* of things still needs to be cleaned up.

memory pool for everything about configuration added
value of CT_FUNCTION callback is now cfg_stralloc()'ed

Added the genhash utility (simple gperf replacement).

Added functions for reading/writing UTF-8 characters on fastbuf streams.

Created a header which will contain description of all data structures
used in the indices. For now, there are word categories.

Added "direct buffer I/O" interface for those who want to avoid an extra
copy of data during read/write at expense of having to be prepared for
any data size the buffering layer tells them to read/write.

Use xmalloc_zero() instead of xmalloc() followed by bzero().

Use xmalloc_zero() instead of xmalloc(), thus squashing several uninitialized
structure field bugs. Also simplified the code a lot.

Introduced mp_alloc_zero().

Introduced xmalloc_zero().

Exported conversions between internal character codes and UCS.

Fixed a couple of bugs.

rewritten, enhanced, updated, fixed

Added an explanatory comment.

Guards, guards!

Remember to link object.o to the library. :)

Add sh_time_t type.

Allow bclose(NULL).

Guard against multiple inclusion.

Import object attribute handling from old Sherlock.

Keep up with conf.h changes.

Keep in sync with pools.h changes.

Renamed memory pool functions to "mp_*", so they don't clobber name space.

Added DEFAULT_CONFIG define which tells us the name of the master
configuration file.

Added CONSTRUCTOR which is a macro generating __attribute__((constructor))
to make a function called automatically upon program startup. This is ideal
for registering of configuration sections.

Moved #include <getopt.h> to conf.h.

Switch to new logging functions.

New logging mechanism. Also cleaned up lib.h.

lib/conf.[ch] rewritten
lib/conf-test.c updated

added tester for conf.c, already tested and it works

bugfixes

written parsing config files and command line parameters, untested yet

When checking/fixing bucket file structure, adjust exit code according
to whether the file is clean or not.

Added a simple utility for handling of buckets and repairing damaged
bucket files.

Squashed a signedness warning.

Added sh_ftruncate(), but it currently works only on 32-bit files,
so I've switched the default configuration to 32 bits.

bread() now returns the number of bytes read instead of dying when
the file is too short.

Need to be taken care of when porting old Sherlock code.

Use OBUCK_INCOMPLETE_MAGIC for incomplete entries.
find_first/find_next have a new option allowing to find deleted buckets.
Use sh_p(read|write) instead of p(read|write).

Rewrote to use pread/pwrite() and to avoid messing up with internals
of the fb-file module. It should work with file descriptors shared between
processes (no need to re-open the file after fork()) and should be also
somewhat faster.

Basic functions already work, it remains to create some utilities
and implement compression.

make obj/lib/bucket-t for a small test program.

Preliminary version of object bucket code.

Added support for memory debuggers (efence and [untested] dmalloc), just
enable in the top-level Makefile.

All modules should use xmalloc/xrealloc/xfree (or memory pools) to allocate
their data. These functions automatically check for errors and they also
translate to dmalloc calls if needed.

Fixed includes, defines and copyrights.

#include <errno.h>

Added a couple of FIXME's.

Revived the old chartype macros.

Add path to all includes.

Add directory to all includes.

Squashed a couple of warnings.

Added build tools.

New Makefiles.

Added character class definitions, formerly in lib/string.h.

Implemented long tags and section limits (must be enabled in config.h first).

New I/O library.

Support database sizes from 2G to 4G.

Don't cry when pread/pwrite is not available.