debugged, now it is fully functional:
- a lot of typos (especially priorities of operators in C and variable name
  mismatches)
- bit-format errors (forgotten additive constants or negations)
- do not use hash_rec[0]
- wrong entries in the collision link-lists must NOT appear in the beginning
  ==> saved time when verifying and solved some strange cases

- changed constants determining the maximum prolong-factor
- added a simple test-tool

implemented fast compression and decompression routines

I have spent a lot of time on them and they just compile.  I have never
tested them.  The test program will follow soon.

Improved cvslog script.

When processing the `-S' option, work on a copy, so that the command
line displayed by `ps' is undisturbed.

Removed redundant <stdarg.h>.

Split logging functions to two files to avoid linking the full switching
machinery to all programs which use trivial logging to stdout.

The logger now exports the name of the current log file and calls a special
hook on die(). Also corrected log_switch_{en,dis}able().

stralloc -> strdup.

Added xstrdup() and new logging functions.

Added functions for manual control of log switching. (Will be used by the
shepherd master.)

cfg_stralloc() -> cfg_strdup() and use mp_strdup() to implement it.

Renamed stralloc() to xstrdup() to be consistent with libc terminology
and also with mp_strdup().

Oops, this worked only by a chance.

Added the new pool-str module.

Added mp_strcat() and mp_multicat().

Fixed the comment.

- 0x08 (BACKSPACE) is a blank character and it is accepted as an ASCII-character
- 0x7f is also accepted as an ASCII-character
- both gather/content.c and gather/charset.c now use the same function
  Cblank() to test it

Changed locking rules. Scans and appends can peacefully co-exist now.
Should solve the problems with shep-reap waiting for bucket file transmission
to finish.

When logging to a file, redirect fd1 to the log file as well.

Multi-part objects (with header and body separated by an empty line and terminated
either by EOF or by a NUL byte) are very common, so let's introduce a special
function for reading them.

Got tired by repeating the same `gather pieces from incomplete reads' subroutine.

Added a simple test.

Add new modules.

Use format_exit_status(). One more ASSERT.

Including <stdarg.h> in lib/lib.h enables us to finally export vlog_msg()
which I was missing for several times.

Added exitstatus and runcmd functions. Finally decided to include <stdarg.h>
in lib.h.

Added a couple of functions for running of external commands with error
checking. A nice replacement for system().

Added a new module for formatting of process exit status messages.

Added one more check.

More enhancement to the main loop library: Export all lists for easy inspection
(reading only) by the callers. When a process exits, construct a nice tombstone
string for it.

Read and write functions accept void pointers instead of byte*.

Added a universal main loop with timers, file descriptor polling and process
watching. Inspired by the glib main loop, but this one has a much nicer
interface.

It will be used in the Shepherd master and if it turns out to be useful,
I'll convert the other programs to use it some day.

Interface to our own regex library.

Better explanation.

After another couple of hours spent digging in regular expression libraries
I decided to use a copy of the glibc 2.3.2 regex routines.

One more deadly testcase.

Added configuration options for libpcre.

Converted regex module testing to the new test framework.

Added a very simple utility for performing unit tests on modules.

Our regex functions are now able to interface to old-style BSD re_match(),
to POSIX regexec() and to libpcre.  Currently it's switched to the BSD mode
as before, I'll look at it more in the evening.

Make regex-t compile.

Welcome to v3.2 world on the mainline :)

Seek to end of an empty fbmem stream needs a special exception.

Ctrl-L is marked blank

When we try to create a temporary file and it already exists (which can happen
if a program with the same PID has crashed at some time in the past), don't
panic and rewrite the file. Should be safe since we're using our own tmp directory
nobody else can access.

Bumped the version number to 3.1.

Added REV_COMPARE(x,y) which is equivalent to COMPARE(y,x), but it's
better readable to use both of them instead of swapping the arguments.

`buckettools -c' now uses fastbufs for output.

Hopefully finally sorted out the "http://www.xyz.cz?param" mess. The true
semantics turned out to be "http://www.xyz.cz/?param" and most web servers
really require "GET /?param".

I've changed the normalization rules to add the leading slash if needed
which also solves the relative URL problem I mentioned in the comments.

However, this means that the SEMANTICS OF NORMALIZED URL'S HAS CHANGED
and gatherer databases with URL's in the "http://www.xyz.cz?param" form
are now INVALID. I'm going to delete all such URL's from our gatherer now.

Hmmm, COMPILE_ASSERT is a better name.

Added CPP_ASSERT.

Forgot to add this one.

Cleaned up the ancient chartype functions: kicked out accent tables (which
were not exported anyway), added conversion to lowercase.

Removed hopefully all implicit dependencies on file type numbering.

Also, CONFIG_LANG without CONFIG_FILETYPE works if you define your
own CA_GET_FILE_LANG macro.

CF_USAGE_TAB can be used to insert more tabs to the default help message.

Added mp_strdup().

Blank lines are considered separators, not terminators of buckets.
Hence extraneous blank lines between buckets and trailing blank lines
after the last buckets are all ignored.

"http://hell.org?xyz" really is a valid URL. Also checked wrt. the current
RFC 2396 and added several comments about where do we differ.

Moved struct card_prints to index.h, because it's used outside the indexer.

Added CARD_FLAG_OVERRIDEN.

Declare variables for library names in the top-level Makefile to avoid
forward references.

Introduced COMPARE macro for use in sorter callbacks.

Don't forget to load config file.

Added testing routines for URL key calculator.

Supply default element swapping macro.

Any non-zero value enables an option. (Allows CONFIG_NUM_CONTEXTS to be
recognized as a switch.)

Nested conditionals were processed incorrectly. Also, the "#" at the start
of directives is now mandatory.

Added STRINGIFY macro.

If `-S' or `-C' is given after some other options (i.e., the config file
has been already loaded automatically), complain loudly.

Also improved the error message for invalid `-S'.

Robert, could you please check this?

IP access lists now accept both netmasks and prefix lengths.

Hours have 3600 seconds, days have 1440 minutes :)

Added "hour" and "day" units.

MD5 didn't work on big-endian machines, because it tested the wrong
endianity switch.

Use int instead of pid_t. At the first glance, this looks like a step backward,
but since we use the variable for printing with a "%d" format-string anyway
and there is no way how to get the right format string for pid_t, it's better
this way.

typo fixed

Reverted the locking back to original unsafe (but in a harmless way) version,
because write locking of files opened for reading is not permitted.

Replacing of buckets during shakedown didn't work.

Use obuck_bucket_size() whereever possible.

Add obuck_bucket_size().

Use brewind() where appropriate.

The combination of bflush() with bsetpos() to the beginning is a very
common idiom. Make it a library function brewind().

obuck_predict_last_oid() can be made safe easily.

Rewritten shake down of bucket file.

  o  Replaced read and write buffers by a single shared buffer.
     This should be somewhat faster (with the same size of memory invested
     to buffers).
  o  If ShakeSecurity is set to 2, shaking down should be reliable under
     all circumstances, including server reboots and broken bucket files.
     Buckettool -F still needs to be run after a failed shakedown and
     oid's need to be synchronized with the outside world, but no buckets
     will be lost (only some of them may be duplicated).
  o  The callback function (`the kibitz') is now allowed not only to decide
     which buckets will be kept, but also to alter contents of the buckets
     provided that it won't enlarge the bucket.

I tried to be very careful and tested the new routine thoroughly, but since
it's a pretty critical place, I would be very happy if somebody checks it
independently.

Don't create large bit arrays on stack. (The default stack limit on Linux is 2MB.)

GLUE_ again.

Use GLUE_ instead of HASH_GLUE.

Added GLUE and GLUE_ macros.

I originally wanted to use them in the new pre-sorter and didn't need them
afterwards, but they are useful anyway.

When pre-sorting a regular file, use lib/arraysort.h on an array of items
instead of the default merge-sort type algorithm working with linked lists.

This is much faster -- e.g., the sorting in shep-export on the current
Sherlock3 database now takes 54 sec instead of 669 :-)

However, to accomplish this I had to change two invariants:

  (1) SORT_REGULAR now means not only that the input has regular structure,
      but also that each item is reasonably small (i.e., we can use
      sorting by exchanging in place).

  (2) If SORT_PRESORT is enabled, the comparison function can be called
      with both keys equal. This trips ASSERT's on various place which
      originally helped a lot during debugging, so I decided to add
      a SORT_UNIQUE switch which in DEBUG mode causes the sorter to
      ensure that all keys are distinct, so we can remove the ASSERT's.

As both the Shepherd and the Indexer now rely heavily on sorting, it might
be worth a try to optimize the sorter even further, maybe by utilizing
polyphase sorting or something like that, the run sizes really seem to be
distributed unevenly many times.

Use HASH_USE_POOL for configuration space allocations.

Added HASH_AUTO_POOL option.

Do not print "[]".

Allow modules to change the log title, second attempt.

Other modules shoud be able to modify the log title.

Another debugging switch: dump core on fatal errors.

The debugging memory allocator is now enabled by DEBUG_DMALLOC instead
of just "DMALLOC".

deleted comment about fprecog

Improved and cleaned up the bucket library. The original "single operation
pending per process" invariant was no longer feasible (and it caused several
problems in Shepherd).

Reading and writing of buckets now uses dynamically allocated fastbufs and
there can be any number of readers at any time, but only a single writer
(otherwise a deadlock would occur). Read streams are seekable, write streams
at least btell()-able.

Also removed the omnipresent global variables for start of current bucket
etc., each part (Find, Slurp, Create, Shakedown, ...) has its own state
variables.

Added some more sanity checks.

index version reverted to v2.6 subversion 2, because it is compatible now

index version incremented due to lexmap.h change
anyway, we wanted to change 26 -> 30 some day

One more item type: u64.

Two improvements to the configuration language:

o  Floating point item type introduced.
o  Both integer and floating point numbers can be suffixed with a unit.

Also, I've exported parsing of integers and doubles for the convenience
of CT_FUNCTION callbacks.