Slow case of b(get|put)_utf8 no longer inline.

CVS repository cleaned up a bit:
gather/{objdump.c,dumpconfig.[ch]} and indexer/idxdump.c --> utils
utils/lfstest.c deleted
filter/ftest is not compiled by default
rule for making lib/lfs-test.c added into Makefile

Oops, endianity problem in reference files.

Better setproctitle() inspired by sendmail's one.

Define setproctitle() and use it for gatherer thread status reporting.

Moved generic heap macros to heap.h.

Changed locking mechanism of the bucket library to fcntl() instead
of flock() as the flock locks have totally broken semantics -- they
happily permit multiple locks on a shared fd!

Use sh_ftruncate() instead of ftruncate().

Buckettool converted to standard command line parsing,
so that config files work there as well.

Bucket file name and I/O buffer size are no longer hard-wired.

Audited locking, but found no bugs.

Added macro for fetching of u32's aligned on 2-byte boundary.

Some typecasts due to LFS.

Created a new include for efficient access to unaligned data.
Updated fastbuf to use it.
Removed sh_foff_t -- all modules should use sh_off_t instead (the only
  case where it would differ is the 2G--4G range of file sizes you get
  when LFS is turned on and LARGE_DB turned off and it's not interesting
  anyway)
bgeto/bgetp selection is done in config.h.
LFS is turned on by default.

Removed old incarnation of CLAMP.

Added a couple of useful macros: MIN, MAX, CLAMP, ARRAY_SIZE.

Removed NULL as it's already defined in config.h.

Added sh_mmap().

For now, only the "use glibc" interface works, the others miss several
essential functions (namely sh_ftruncate and sh_mmap).

open -> sh_open

Use sh_open instead of open.

Don't crash when the last fragment is of zero length.

No more SEGV's on truncated files.

The StringMap file contains an end marker pointing past the last
string reference.

Introduced obuck_get_pos(), converted gatherd limits to use it.

bugfix

Removed cf_read() and cf_default_*().

obuck_size() deleted

cf_default_init() replaced by direct access to cfdeffile, the default value
is DEFAULT_CONFIG
cf_default_done() replaced by automatical call if getopt() returns -1

cf_default_{init,done} interface used instead cf_read

added cf_default_{init,done} for setting the default config filename, that
will be automatically readed if not overriden by command-line option

added obuck_size() returning the size of bucket file (for gatherd.c stopping
after maximal size is reached)

Moved fp_hash() to index.h.

Define FASTBUF_BYTES_PER_(O|P).

Added indexer names for word and string type classes.

Defined which string classes contain URL's and which ones case insensitive
strings.

added

Updated the charset conversion library to UniCode 3.0.

Removed ice age relics.

Removed signature tables as they are not used anyway.

Replaced <sys/time.h> by <time.h> where appropriate.

Fixed bug in generating UTF-8 for codes >= 0x800.

Defined a GET_TAGGED_CHAR macro to read our internal representation
of tagged text, mapping the tags to character codes >= 0x80000000.

Generate index cards.

The chewer is complete, but it will probably need a bit of optimization
and fine-tuning when we get some real data. The searching for words present
in the cache doesn't look well.

Indexing of strings.

Some more chewer work...

Added bgets0().

Added a useful macro for value clamping.

Oops, breadb() was wrong.

Added breadb() which acts just like bread(), but die()s if a partial
record is read. This is mainly to avoid consistency checks in main
code path.

SORT_DELETE_INPUT works even with SORT_INPUT_FB.

Declare fingerprints as 12 bytes, not 3 u32's.

Added #define PACKED __attribute__((packed)).

Added merger.

Added unmapping and writeable mappings.

Scanner improvements: create redirect backlinks, detect empty documents,
mark accented documents.

Testing programs are not build by default.

Added URL fingerprints.

Added bputs0() -- put a null-terminated string.

Shut up warnings.

added cf_item_count()

deleted unused variable prog

added sort-test

Next version of the sorter -- both presorting and unifying works.

sort-test now does just `sort -u' and it's about 30% slower than its
GNU counterpart, probably due to extra copies of sorting keys by our
buffered I/O layer. Fortunately, a typical case will be long data with
short keys where we should be efficient as we can use bbcopy().

cf_get_item added

First version of the sorter. No presorting phase yet.

Added "is_temp_file" attribute which causes automatic deletion of the
file upon bclose().

Don't log pid until log_fork() is called.

Added __attribute__((format...)) to declaration of log(), so that
discrepancies between format string and arguments get easily found.

oid's above OBUCK_OID_FIRST_SPECIAL are reserved for encoding of
error codes and other stuff.

obj_add_attr() now returns head of the attribute value chain, so that you
can easily do:

struct oattr *a;
a = obj_add_attr(obj, NULL, 'x', "val1");
a = obj_add_attr(obj, a, 'x', "val2");

to insert multi-valued attributes quickly.

Added log_fork() which should be called after fork()ing to invalidate cached PID.

Use xmalloc_zero().

Newlines and carriage returns are considered blanks. Carefully checked
all modules using Cspace() and Cblank().

Word type 0 is reserved.

declaration cosmetic fix

HTML parser basically works. A *lot* of things still needs to be cleaned up.

memory pool for everything about configuration added
value of CT_FUNCTION callback is now cfg_stralloc()'ed

Added the genhash utility (simple gperf replacement).

Added functions for reading/writing UTF-8 characters on fastbuf streams.

Created a header which will contain description of all data structures
used in the indices. For now, there are word categories.

Added "direct buffer I/O" interface for those who want to avoid an extra
copy of data during read/write at expense of having to be prepared for
any data size the buffering layer tells them to read/write.

Use xmalloc_zero() instead of xmalloc() followed by bzero().

Use xmalloc_zero() instead of xmalloc(), thus squashing several uninitialized
structure field bugs. Also simplified the code a lot.

Introduced mp_alloc_zero().

Introduced xmalloc_zero().

Exported conversions between internal character codes and UCS.

Fixed a couple of bugs.

rewritten, enhanced, updated, fixed

Added an explanatory comment.

Guards, guards!

Remember to link object.o to the library. :)

Add sh_time_t type.

Allow bclose(NULL).

Guard against multiple inclusion.

Import object attribute handling from old Sherlock.

Keep up with conf.h changes.

Keep in sync with pools.h changes.

Renamed memory pool functions to "mp_*", so they don't clobber name space.

Added DEFAULT_CONFIG define which tells us the name of the master
configuration file.

Added CONSTRUCTOR which is a macro generating __attribute__((constructor))
to make a function called automatically upon program startup. This is ideal
for registering of configuration sections.

Moved #include <getopt.h> to conf.h.

Switch to new logging functions.

New logging mechanism. Also cleaned up lib.h.

lib/conf.[ch] rewritten
lib/conf-test.c updated

added tester for conf.c, already tested and it works

bugfixes