Interface to our own regex library.

Better explanation.

After another couple of hours spent digging in regular expression libraries
I decided to use a copy of the glibc 2.3.2 regex routines.

One more deadly testcase.

Added configuration options for libpcre.

Converted regex module testing to the new test framework.

Added a very simple utility for performing unit tests on modules.

Our regex functions are now able to interface to old-style BSD re_match(),
to POSIX regexec() and to libpcre.  Currently it's switched to the BSD mode
as before, I'll look at it more in the evening.

Make regex-t compile.

Welcome to v3.2 world on the mainline :)

Seek to end of an empty fbmem stream needs a special exception.

Ctrl-L is marked blank

When we try to create a temporary file and it already exists (which can happen
if a program with the same PID has crashed at some time in the past), don't
panic and rewrite the file. Should be safe since we're using our own tmp directory
nobody else can access.

Bumped the version number to 3.1.

Added REV_COMPARE(x,y) which is equivalent to COMPARE(y,x), but it's
better readable to use both of them instead of swapping the arguments.

`buckettools -c' now uses fastbufs for output.

Hopefully finally sorted out the "http://www.xyz.cz?param" mess. The true
semantics turned out to be "http://www.xyz.cz/?param" and most web servers
really require "GET /?param".

I've changed the normalization rules to add the leading slash if needed
which also solves the relative URL problem I mentioned in the comments.

However, this means that the SEMANTICS OF NORMALIZED URL'S HAS CHANGED
and gatherer databases with URL's in the "http://www.xyz.cz?param" form
are now INVALID. I'm going to delete all such URL's from our gatherer now.

Hmmm, COMPILE_ASSERT is a better name.

Added CPP_ASSERT.

Forgot to add this one.

Cleaned up the ancient chartype functions: kicked out accent tables (which
were not exported anyway), added conversion to lowercase.

Removed hopefully all implicit dependencies on file type numbering.

Also, CONFIG_LANG without CONFIG_FILETYPE works if you define your
own CA_GET_FILE_LANG macro.

CF_USAGE_TAB can be used to insert more tabs to the default help message.

Added mp_strdup().

Blank lines are considered separators, not terminators of buckets.
Hence extraneous blank lines between buckets and trailing blank lines
after the last buckets are all ignored.

"http://hell.org?xyz" really is a valid URL. Also checked wrt. the current
RFC 2396 and added several comments about where do we differ.

Moved struct card_prints to index.h, because it's used outside the indexer.

Added CARD_FLAG_OVERRIDEN.

Declare variables for library names in the top-level Makefile to avoid
forward references.

Introduced COMPARE macro for use in sorter callbacks.

Don't forget to load config file.

Added testing routines for URL key calculator.

Supply default element swapping macro.

Any non-zero value enables an option. (Allows CONFIG_NUM_CONTEXTS to be
recognized as a switch.)

Nested conditionals were processed incorrectly. Also, the "#" at the start
of directives is now mandatory.

Added STRINGIFY macro.

If `-S' or `-C' is given after some other options (i.e., the config file
has been already loaded automatically), complain loudly.

Also improved the error message for invalid `-S'.

Robert, could you please check this?

IP access lists now accept both netmasks and prefix lengths.

Hours have 3600 seconds, days have 1440 minutes :)

Added "hour" and "day" units.

MD5 didn't work on big-endian machines, because it tested the wrong
endianity switch.

Use int instead of pid_t. At the first glance, this looks like a step backward,
but since we use the variable for printing with a "%d" format-string anyway
and there is no way how to get the right format string for pid_t, it's better
this way.

typo fixed

Reverted the locking back to original unsafe (but in a harmless way) version,
because write locking of files opened for reading is not permitted.

Replacing of buckets during shakedown didn't work.

Use obuck_bucket_size() whereever possible.

Add obuck_bucket_size().

Use brewind() where appropriate.

The combination of bflush() with bsetpos() to the beginning is a very
common idiom. Make it a library function brewind().

obuck_predict_last_oid() can be made safe easily.

Rewritten shake down of bucket file.

  o  Replaced read and write buffers by a single shared buffer.
     This should be somewhat faster (with the same size of memory invested
     to buffers).
  o  If ShakeSecurity is set to 2, shaking down should be reliable under
     all circumstances, including server reboots and broken bucket files.
     Buckettool -F still needs to be run after a failed shakedown and
     oid's need to be synchronized with the outside world, but no buckets
     will be lost (only some of them may be duplicated).
  o  The callback function (`the kibitz') is now allowed not only to decide
     which buckets will be kept, but also to alter contents of the buckets
     provided that it won't enlarge the bucket.

I tried to be very careful and tested the new routine thoroughly, but since
it's a pretty critical place, I would be very happy if somebody checks it
independently.

Don't create large bit arrays on stack. (The default stack limit on Linux is 2MB.)

GLUE_ again.

Use GLUE_ instead of HASH_GLUE.

Added GLUE and GLUE_ macros.

I originally wanted to use them in the new pre-sorter and didn't need them
afterwards, but they are useful anyway.

When pre-sorting a regular file, use lib/arraysort.h on an array of items
instead of the default merge-sort type algorithm working with linked lists.

This is much faster -- e.g., the sorting in shep-export on the current
Sherlock3 database now takes 54 sec instead of 669 :-)

However, to accomplish this I had to change two invariants:

  (1) SORT_REGULAR now means not only that the input has regular structure,
      but also that each item is reasonably small (i.e., we can use
      sorting by exchanging in place).

  (2) If SORT_PRESORT is enabled, the comparison function can be called
      with both keys equal. This trips ASSERT's on various place which
      originally helped a lot during debugging, so I decided to add
      a SORT_UNIQUE switch which in DEBUG mode causes the sorter to
      ensure that all keys are distinct, so we can remove the ASSERT's.

As both the Shepherd and the Indexer now rely heavily on sorting, it might
be worth a try to optimize the sorter even further, maybe by utilizing
polyphase sorting or something like that, the run sizes really seem to be
distributed unevenly many times.

Use HASH_USE_POOL for configuration space allocations.

Added HASH_AUTO_POOL option.

Do not print "[]".

Allow modules to change the log title, second attempt.

Other modules shoud be able to modify the log title.

Another debugging switch: dump core on fatal errors.

The debugging memory allocator is now enabled by DEBUG_DMALLOC instead
of just "DMALLOC".

deleted comment about fprecog

Improved and cleaned up the bucket library. The original "single operation
pending per process" invariant was no longer feasible (and it caused several
problems in Shepherd).

Reading and writing of buckets now uses dynamically allocated fastbufs and
there can be any number of readers at any time, but only a single writer
(otherwise a deadlock would occur). Read streams are seekable, write streams
at least btell()-able.

Also removed the omnipresent global variables for start of current bucket
etc., each part (Find, Slurp, Create, Shakedown, ...) has its own state
variables.

Added some more sanity checks.

index version reverted to v2.6 subversion 2, because it is compatible now

index version incremented due to lexmap.h change
anyway, we wanted to change 26 -> 30 some day

One more item type: u64.

Two improvements to the configuration language:

o  Floating point item type introduced.
o  Both integer and floating point numbers can be suffixed with a unit.

Also, I've exported parsing of integers and doubles for the convenience
of CT_FUNCTION callbacks.

no need to cut www-prefix twice

do not replace target url-equiv

Replaced obuck_fetch_end() by bclose() (which is a nop as obuck_fetch_end was :) ).

Added very simple functions for emulating a fastbuf stream over a static
buffer. The struct fastbuf is allocated statically as well to make everything
as simple and as fast as possible.

1. db/catalog.gz ---> db/catalog
+ it is not sent to oook and feedback-cat via pipes, but it is read by them as a file
+ it is read in 2 passes and the URL's are identified in the 1st phase (catalog.c)

2. URL fingerprinting always uses cf/url-equiv, even in the indexer

A better function for hashing integers (the old multiplier was completely
bogus as it didn't fit in a 32-bit integer) and also a new function
for hashing pointers.

I decided to turn off cf/url-equiv for indexation.  however, after the indexer
is run on regular sherlock5, we cannot manually delete this file for indexer
and restore for gatherd.  so I am creating a new parameter that controls
loading this prefix table.

Added some headers to avoid confusion of our own developers ;)

Added special mode for sorting of regular files.

bbcopy() can be asked to copy the rest of the input file by specifying
a length of ~0U.

Undefine all the parameter macros at the end. (The hash tables already do it
and it showed up to be very useful.)

page_size -> PAGE_SIZE

And do not forget .cvsignore, of course.

- giant class flag moved from attributes to card-notes
- merger only marks documents by giant flag and
  the penalization is done in chewer
- added new weight attribute to cards: Wp means weight after penalization
  added penalization notes in the form .Pg-50 (giant class penalized by -50)
- chewer.c: card_write_start() does NOT write struct card_attr and it needs
  to be done manually later
- chewer.c: weight records are sorted chronologically, I like it more :-)

this could never have worked

CVS should ignore files created by compiling Ulimit

to supress annoying warning messages during make clean

INDEX_VERSION fixed

indexer rewritten to generate redirect brackets
+ code written, debugged, and polished

in particular, labels contain new attribute redir_id and attribute priority
has been deleted

we need to update search/cards.c

Perl module for setting ulimits.
Should solve bug #538.
[warning - compiling perlXS is ugly ;) ]

introduced type bitarray_t

We don't need this in v3.0.

Forgot to add fb-limfd.

Replaced the "orig_len" field in bucket headers which was never used
for anything useful by bucket type code.

Added fastbuf backend for reading from file descriptors with a given limit.
(Very useful for communication over sockets.)

Too much copying and pasting :-)

Good luck, v3.0!

Updated version numbers.

Added UTF8_SKIP_BWD.

Oops, forgot the values.

New tables generated from UnicodeData 4.0.1 using the new scripts.

Several improvements to the unicode library:

  o  All tables are now const.
  o  Redefined the categories:
- now using _U_* instead of _C_*
- introduced _U_LETTER modified with either _U_UPPER or _U_LOWER
  or none (titlecase letters, letter modifiers etc.)
  o  Added the ligature expansions and _U_LIGATURE.
  o  Minor cleanups.