Replacing of buckets during shakedown didn't work.

Use obuck_bucket_size() whereever possible.

Add obuck_bucket_size().

Use brewind() where appropriate.

The combination of bflush() with bsetpos() to the beginning is a very
common idiom. Make it a library function brewind().

obuck_predict_last_oid() can be made safe easily.

Rewritten shake down of bucket file.

  o  Replaced read and write buffers by a single shared buffer.
     This should be somewhat faster (with the same size of memory invested
     to buffers).
  o  If ShakeSecurity is set to 2, shaking down should be reliable under
     all circumstances, including server reboots and broken bucket files.
     Buckettool -F still needs to be run after a failed shakedown and
     oid's need to be synchronized with the outside world, but no buckets
     will be lost (only some of them may be duplicated).
  o  The callback function (`the kibitz') is now allowed not only to decide
     which buckets will be kept, but also to alter contents of the buckets
     provided that it won't enlarge the bucket.

I tried to be very careful and tested the new routine thoroughly, but since
it's a pretty critical place, I would be very happy if somebody checks it
independently.

Don't create large bit arrays on stack. (The default stack limit on Linux is 2MB.)

GLUE_ again.

Use GLUE_ instead of HASH_GLUE.

Added GLUE and GLUE_ macros.

I originally wanted to use them in the new pre-sorter and didn't need them
afterwards, but they are useful anyway.

When pre-sorting a regular file, use lib/arraysort.h on an array of items
instead of the default merge-sort type algorithm working with linked lists.

This is much faster -- e.g., the sorting in shep-export on the current
Sherlock3 database now takes 54 sec instead of 669 :-)

However, to accomplish this I had to change two invariants:

  (1) SORT_REGULAR now means not only that the input has regular structure,
      but also that each item is reasonably small (i.e., we can use
      sorting by exchanging in place).

  (2) If SORT_PRESORT is enabled, the comparison function can be called
      with both keys equal. This trips ASSERT's on various place which
      originally helped a lot during debugging, so I decided to add
      a SORT_UNIQUE switch which in DEBUG mode causes the sorter to
      ensure that all keys are distinct, so we can remove the ASSERT's.

As both the Shepherd and the Indexer now rely heavily on sorting, it might
be worth a try to optimize the sorter even further, maybe by utilizing
polyphase sorting or something like that, the run sizes really seem to be
distributed unevenly many times.

Use HASH_USE_POOL for configuration space allocations.

Added HASH_AUTO_POOL option.

Do not print "[]".

Allow modules to change the log title, second attempt.

Other modules shoud be able to modify the log title.

Another debugging switch: dump core on fatal errors.

The debugging memory allocator is now enabled by DEBUG_DMALLOC instead
of just "DMALLOC".

deleted comment about fprecog

Improved and cleaned up the bucket library. The original "single operation
pending per process" invariant was no longer feasible (and it caused several
problems in Shepherd).

Reading and writing of buckets now uses dynamically allocated fastbufs and
there can be any number of readers at any time, but only a single writer
(otherwise a deadlock would occur). Read streams are seekable, write streams
at least btell()-able.

Also removed the omnipresent global variables for start of current bucket
etc., each part (Find, Slurp, Create, Shakedown, ...) has its own state
variables.

Added some more sanity checks.

index version reverted to v2.6 subversion 2, because it is compatible now

index version incremented due to lexmap.h change
anyway, we wanted to change 26 -> 30 some day

One more item type: u64.

Two improvements to the configuration language:

o  Floating point item type introduced.
o  Both integer and floating point numbers can be suffixed with a unit.

Also, I've exported parsing of integers and doubles for the convenience
of CT_FUNCTION callbacks.

no need to cut www-prefix twice

do not replace target url-equiv

Replaced obuck_fetch_end() by bclose() (which is a nop as obuck_fetch_end was :) ).

Added very simple functions for emulating a fastbuf stream over a static
buffer. The struct fastbuf is allocated statically as well to make everything
as simple and as fast as possible.

1. db/catalog.gz ---> db/catalog
+ it is not sent to oook and feedback-cat via pipes, but it is read by them as a file
+ it is read in 2 passes and the URL's are identified in the 1st phase (catalog.c)

2. URL fingerprinting always uses cf/url-equiv, even in the indexer

A better function for hashing integers (the old multiplier was completely
bogus as it didn't fit in a 32-bit integer) and also a new function
for hashing pointers.

I decided to turn off cf/url-equiv for indexation.  however, after the indexer
is run on regular sherlock5, we cannot manually delete this file for indexer
and restore for gatherd.  so I am creating a new parameter that controls
loading this prefix table.

Added some headers to avoid confusion of our own developers ;)

Added special mode for sorting of regular files.

bbcopy() can be asked to copy the rest of the input file by specifying
a length of ~0U.

Undefine all the parameter macros at the end. (The hash tables already do it
and it showed up to be very useful.)

page_size -> PAGE_SIZE

And do not forget .cvsignore, of course.

- giant class flag moved from attributes to card-notes
- merger only marks documents by giant flag and
  the penalization is done in chewer
- added new weight attribute to cards: Wp means weight after penalization
  added penalization notes in the form .Pg-50 (giant class penalized by -50)
- chewer.c: card_write_start() does NOT write struct card_attr and it needs
  to be done manually later
- chewer.c: weight records are sorted chronologically, I like it more :-)

this could never have worked

CVS should ignore files created by compiling Ulimit

to supress annoying warning messages during make clean

INDEX_VERSION fixed

indexer rewritten to generate redirect brackets
+ code written, debugged, and polished

in particular, labels contain new attribute redir_id and attribute priority
has been deleted

we need to update search/cards.c

Perl module for setting ulimits.
Should solve bug #538.
[warning - compiling perlXS is ugly ;) ]

introduced type bitarray_t

We don't need this in v3.0.

Forgot to add fb-limfd.

Replaced the "orig_len" field in bucket headers which was never used
for anything useful by bucket type code.

Added fastbuf backend for reading from file descriptors with a given limit.
(Very useful for communication over sockets.)

Too much copying and pasting :-)

Good luck, v3.0!

Updated version numbers.

Added UTF8_SKIP_BWD.

Oops, forgot the values.

New tables generated from UnicodeData 4.0.1 using the new scripts.

Several improvements to the unicode library:

  o  All tables are now const.
  o  Redefined the categories:
- now using _U_* instead of _C_*
- introduced _U_LETTER modified with either _U_UPPER or _U_LOWER
  or none (titlecase letters, letter modifiers etc.)
  o  Added the ligature expansions and _U_LIGATURE.
  o  Minor cleanups.

Don't forget the ligtable.

Constified.

Added a table of compatibility ligature expansions.

Added const to chartype tables. Also removed _c_collate and _c_order
which didn't exist since the last glacial era.

One more :)

Expect the unicode data directory to be linked to by "unidata".

Updated to new names of scripts.

Renamed unisplit to gen-basic.

Renamed tabgen to gen-charconv.

Renamed mkunacc to gen-unacc.

Renamed charset import scripts.

Renamed mkuni to add-charnames and changed the path to the UnicodeData file.

Obsolete and also some of the Slovak characters were missing.

This was testing functions which didn't exist :-)

The signature charset hasn't been used for ages.

Export cfpool -- sometimes it's much convenient to pass just a pool than
a pointer to an allocation function.

Added a simple utility for generating changelogs.

These files have been obsoleted by the new customization system.

Search for custom.h at the right place.

Added a hook for indexing custom string types.

Added a lot of missing #include <alloca.h>'s.

Added charconv wrapper around fastbuf (currently output only).

EXTRA_RUNDIRS needn't form a strict hierarchy, so add a -p.

Added a set of functions for sliding window mmapping of large files.
Will be used by the indexer to access the card notes array.

Replaced enums by #define's in definitions of word, meta and string types.
It's less elegant, but it gives a chance to detect whether a specific type
exists or not.

Allow submakefiles to add their own installation directories and to override
the run/bin directory. Propagate the directories to the installer.

Updated the installation script to always check for missing directories.

Recognition of variable types in parse_args is now automatic.

Added 'array' feature to handle multiple variable occurrences.

Just to make it more comfortable.

Patch to allow processing of multiple occurences of the same argument.
Now it returns a string of values separated by "&".

fixed headers

fixed generated header comment

regenerated by misc/generate from updated charset tables

added (and renamed) all iso-8859-* charsets

added (and renamed) all iso-8859-{1,2,...,16} charsets

adapted to UNDEFINED characters

upgraded from ftp.unicode.org and also renamed

updated according to the newest tables downloaded from ftp.unicode.org

imported by `trunicode` from ftp.unicode.org

added a tool for importing mappings from ftp.unicode.org
I will rather use this source than `recode`

Several changes mixed to one commit (sorry, the CVS didn't work for a long time):

o  Changed index format ID.
o  MAX_COMPLEX_LEN went with the rest of complexes.
o  Introduced data types and handling macros for context bucket ID's.
o  Returned fp_hash() to its original definition -- the previous "fix" was
   deadly wrong: I confused indexing of bytes with indexing of words.
   Also, the fp_hash() has to be monotonic wrt. fpsort's order which the
   new one wasn't.

Define CONFIG_CONTEXTS whenever we use contexts.