Added xstrdup() and new logging functions.

Added functions for manual control of log switching. (Will be used by the
shepherd master.)

cfg_stralloc() -> cfg_strdup() and use mp_strdup() to implement it.

Renamed stralloc() to xstrdup() to be consistent with libc terminology
and also with mp_strdup().

Oops, this worked only by a chance.

Added the new pool-str module.

Added mp_strcat() and mp_multicat().

Fixed the comment.

- 0x08 (BACKSPACE) is a blank character and it is accepted as an ASCII-character
- 0x7f is also accepted as an ASCII-character
- both gather/content.c and gather/charset.c now use the same function
  Cblank() to test it

Changed locking rules. Scans and appends can peacefully co-exist now.
Should solve the problems with shep-reap waiting for bucket file transmission
to finish.

When logging to a file, redirect fd1 to the log file as well.

Multi-part objects (with header and body separated by an empty line and terminated
either by EOF or by a NUL byte) are very common, so let's introduce a special
function for reading them.

Got tired by repeating the same `gather pieces from incomplete reads' subroutine.

Added a simple test.

Add new modules.

Use format_exit_status(). One more ASSERT.

Including <stdarg.h> in lib/lib.h enables us to finally export vlog_msg()
which I was missing for several times.

Added exitstatus and runcmd functions. Finally decided to include <stdarg.h>
in lib.h.

Added a couple of functions for running of external commands with error
checking. A nice replacement for system().

Added a new module for formatting of process exit status messages.

Added one more check.

More enhancement to the main loop library: Export all lists for easy inspection
(reading only) by the callers. When a process exits, construct a nice tombstone
string for it.

Read and write functions accept void pointers instead of byte*.

Added a universal main loop with timers, file descriptor polling and process
watching. Inspired by the glib main loop, but this one has a much nicer
interface.

It will be used in the Shepherd master and if it turns out to be useful,
I'll convert the other programs to use it some day.

Interface to our own regex library.

Better explanation.

After another couple of hours spent digging in regular expression libraries
I decided to use a copy of the glibc 2.3.2 regex routines.

One more deadly testcase.

Added configuration options for libpcre.

Converted regex module testing to the new test framework.

Added a very simple utility for performing unit tests on modules.

Our regex functions are now able to interface to old-style BSD re_match(),
to POSIX regexec() and to libpcre.  Currently it's switched to the BSD mode
as before, I'll look at it more in the evening.

Make regex-t compile.

Welcome to v3.2 world on the mainline :)

Seek to end of an empty fbmem stream needs a special exception.

Ctrl-L is marked blank

When we try to create a temporary file and it already exists (which can happen
if a program with the same PID has crashed at some time in the past), don't
panic and rewrite the file. Should be safe since we're using our own tmp directory
nobody else can access.

Bumped the version number to 3.1.

Added REV_COMPARE(x,y) which is equivalent to COMPARE(y,x), but it's
better readable to use both of them instead of swapping the arguments.

`buckettools -c' now uses fastbufs for output.

Hopefully finally sorted out the "http://www.xyz.cz?param" mess. The true
semantics turned out to be "http://www.xyz.cz/?param" and most web servers
really require "GET /?param".

I've changed the normalization rules to add the leading slash if needed
which also solves the relative URL problem I mentioned in the comments.

However, this means that the SEMANTICS OF NORMALIZED URL'S HAS CHANGED
and gatherer databases with URL's in the "http://www.xyz.cz?param" form
are now INVALID. I'm going to delete all such URL's from our gatherer now.

Hmmm, COMPILE_ASSERT is a better name.

Added CPP_ASSERT.

Forgot to add this one.

Cleaned up the ancient chartype functions: kicked out accent tables (which
were not exported anyway), added conversion to lowercase.

Removed hopefully all implicit dependencies on file type numbering.

Also, CONFIG_LANG without CONFIG_FILETYPE works if you define your
own CA_GET_FILE_LANG macro.

CF_USAGE_TAB can be used to insert more tabs to the default help message.

Added mp_strdup().

Blank lines are considered separators, not terminators of buckets.
Hence extraneous blank lines between buckets and trailing blank lines
after the last buckets are all ignored.

"http://hell.org?xyz" really is a valid URL. Also checked wrt. the current
RFC 2396 and added several comments about where do we differ.

Moved struct card_prints to index.h, because it's used outside the indexer.

Added CARD_FLAG_OVERRIDEN.

Declare variables for library names in the top-level Makefile to avoid
forward references.

Introduced COMPARE macro for use in sorter callbacks.

Don't forget to load config file.

Added testing routines for URL key calculator.

Supply default element swapping macro.

Any non-zero value enables an option. (Allows CONFIG_NUM_CONTEXTS to be
recognized as a switch.)

Nested conditionals were processed incorrectly. Also, the "#" at the start
of directives is now mandatory.

Added STRINGIFY macro.

If `-S' or `-C' is given after some other options (i.e., the config file
has been already loaded automatically), complain loudly.

Also improved the error message for invalid `-S'.

Robert, could you please check this?

IP access lists now accept both netmasks and prefix lengths.

Hours have 3600 seconds, days have 1440 minutes :)

Added "hour" and "day" units.

MD5 didn't work on big-endian machines, because it tested the wrong
endianity switch.

Use int instead of pid_t. At the first glance, this looks like a step backward,
but since we use the variable for printing with a "%d" format-string anyway
and there is no way how to get the right format string for pid_t, it's better
this way.

typo fixed

Reverted the locking back to original unsafe (but in a harmless way) version,
because write locking of files opened for reading is not permitted.

Replacing of buckets during shakedown didn't work.

Use obuck_bucket_size() whereever possible.

Add obuck_bucket_size().

Use brewind() where appropriate.

The combination of bflush() with bsetpos() to the beginning is a very
common idiom. Make it a library function brewind().

obuck_predict_last_oid() can be made safe easily.

Rewritten shake down of bucket file.

  o  Replaced read and write buffers by a single shared buffer.
     This should be somewhat faster (with the same size of memory invested
     to buffers).
  o  If ShakeSecurity is set to 2, shaking down should be reliable under
     all circumstances, including server reboots and broken bucket files.
     Buckettool -F still needs to be run after a failed shakedown and
     oid's need to be synchronized with the outside world, but no buckets
     will be lost (only some of them may be duplicated).
  o  The callback function (`the kibitz') is now allowed not only to decide
     which buckets will be kept, but also to alter contents of the buckets
     provided that it won't enlarge the bucket.

I tried to be very careful and tested the new routine thoroughly, but since
it's a pretty critical place, I would be very happy if somebody checks it
independently.

Don't create large bit arrays on stack. (The default stack limit on Linux is 2MB.)

GLUE_ again.

Use GLUE_ instead of HASH_GLUE.

Added GLUE and GLUE_ macros.

I originally wanted to use them in the new pre-sorter and didn't need them
afterwards, but they are useful anyway.

When pre-sorting a regular file, use lib/arraysort.h on an array of items
instead of the default merge-sort type algorithm working with linked lists.

This is much faster -- e.g., the sorting in shep-export on the current
Sherlock3 database now takes 54 sec instead of 669 :-)

However, to accomplish this I had to change two invariants:

  (1) SORT_REGULAR now means not only that the input has regular structure,
      but also that each item is reasonably small (i.e., we can use
      sorting by exchanging in place).

  (2) If SORT_PRESORT is enabled, the comparison function can be called
      with both keys equal. This trips ASSERT's on various place which
      originally helped a lot during debugging, so I decided to add
      a SORT_UNIQUE switch which in DEBUG mode causes the sorter to
      ensure that all keys are distinct, so we can remove the ASSERT's.

As both the Shepherd and the Indexer now rely heavily on sorting, it might
be worth a try to optimize the sorter even further, maybe by utilizing
polyphase sorting or something like that, the run sizes really seem to be
distributed unevenly many times.

Use HASH_USE_POOL for configuration space allocations.

Added HASH_AUTO_POOL option.

Do not print "[]".

Allow modules to change the log title, second attempt.

Other modules shoud be able to modify the log title.

Another debugging switch: dump core on fatal errors.

The debugging memory allocator is now enabled by DEBUG_DMALLOC instead
of just "DMALLOC".

deleted comment about fprecog

Improved and cleaned up the bucket library. The original "single operation
pending per process" invariant was no longer feasible (and it caused several
problems in Shepherd).

Reading and writing of buckets now uses dynamically allocated fastbufs and
there can be any number of readers at any time, but only a single writer
(otherwise a deadlock would occur). Read streams are seekable, write streams
at least btell()-able.

Also removed the omnipresent global variables for start of current bucket
etc., each part (Find, Slurp, Create, Shakedown, ...) has its own state
variables.

Added some more sanity checks.

index version reverted to v2.6 subversion 2, because it is compatible now

index version incremented due to lexmap.h change
anyway, we wanted to change 26 -> 30 some day

One more item type: u64.

Two improvements to the configuration language:

o  Floating point item type introduced.
o  Both integer and floating point numbers can be suffixed with a unit.

Also, I've exported parsing of integers and doubles for the convenience
of CT_FUNCTION callbacks.

no need to cut www-prefix twice

do not replace target url-equiv

Replaced obuck_fetch_end() by bclose() (which is a nop as obuck_fetch_end was :) ).

Added very simple functions for emulating a fastbuf stream over a static
buffer. The struct fastbuf is allocated statically as well to make everything
as simple and as fast as possible.

1. db/catalog.gz ---> db/catalog
+ it is not sent to oook and feedback-cat via pipes, but it is read by them as a file
+ it is read in 2 passes and the URL's are identified in the 1st phase (catalog.c)

2. URL fingerprinting always uses cf/url-equiv, even in the indexer

A better function for hashing integers (the old multiplier was completely
bogus as it didn't fit in a 32-bit integer) and also a new function
for hashing pointers.

I decided to turn off cf/url-equiv for indexation.  however, after the indexer
is run on regular sherlock5, we cannot manually delete this file for indexer
and restore for gatherd.  so I am creating a new parameter that controls
loading this prefix table.

Added some headers to avoid confusion of our own developers ;)