bugfix found by gcc-3.3

Make sherlockd calculate per-filetype number of matched documents, including
those failing the FILETYPE filter. This breaks the nice abstraction of hiding
all filtering under EXTENDED_ATTRS, but it will allow us to get rid of lots
of STATS queries.

Started v2.5.

Added a new card flag for cards in giant classes. Don't index selected meta
types in such cards.

Added a new PURE attribute which means "this function can read global variables,
but it doesn't have any side effects" as opposed to CONST which promises
that no global variables will be touched.

documentation fixed

Added functions for moving attributes in the chain.

If the search server connection dies prematurely, give the right error
message instead of referencing an undefined variable.

Replaced various nesting heuristics by proper parsing of parenthesized blocks.
Also noted that "E" is now multi-valued.

One more parameters change.

More changes to the custom attribute mechanism:

o  Introduced the concept of extended attributes which consist of the
   custom attributes and some internally defined attributes handled
   in the same way.
o  FILETYPE and LANG are now extended attributes and they don't depend
   on the customization module. This is probably much cleaner as it
   reduces the overlap between custom parts and generic parts.
o  No problems with linking liblang because of LANG attribute.
o  idxdump got simplified.

Create local copy of program name to be printed in log messages
to avoid having it rewritten by setproctitle().

Better explanation of CARD_FLAG_FRAMESET.

Introduced CARD_LANG_FRAMESET.

Fixed bug in bucket shakedown code: it crashed with a mysterious error message
("Unexpected EOF") when there was a bucket larger than the shakedown buffer
and this included even deleted buckets (which was the cause of the latest crash
on sherlock5: shakedown on a corrupted database patched the corruption by
a large deleted bucket and when I ran it again, it crashed again due to this
bucket).

Now we are able to cope with deleted buckets of any size and when we
encounter an oversized non-deleted bucket, we bail out with a proper
error message.

Oh, those misleading comments...

Put back the work-around for objects generated by an old version of the
gatherer, because some of them still haven't expired from the db.
At least the work-around is cleaner this time.

Get a list of config files explicitly, so that the Makefiles can decide
what will be installed and what won't.

Also added an exception for cf/catalog-rules which is an automatically
generated file and we install it only if it doesn't exist yet.

Changed processing of configuration files.

run/cf is no longer a symlink to ../cf, I've replaced it by make
rules which generate the configuration files in run/cf by preprocessing
those in cf according to CONFIG_xxx switches in config.mk (in the same
way as we already do in mkdist).

I'd like to migrate many settings local to the Centrum configs to the
main CVS without having to update several separate copies of the config.

*** CAVEAT ***  After updating to this version, you need to either
make distclean or

rm run/cf
mkdir run/cf

manually _before_ running make, else could lose your config files.

Renamed SHERLOCK_CONFIG_xxx to CONFIG_xxx to be consistent.

Added routines for easy dynamic creation of strings.

We already should announce ourselves as v2.4.

a bug fixed, it reveals when you want to process the bucket-file more times

Sped up utf8_strlen(), introduced utf8_strnlen().

added utf8_strlen()

Added (WORD|META)_TYPES_ALL_LANGS.

Tried to use libm for calculating logarithmic frequencies of words,
but ran into problems with function name collisions. Damn the C's flat
namespace!

Renamed our log to log_msg, but keep the original name as a macro
expanding to the new one. Also renamed log2 (which is currently not used
anywhere) to fls (find last set, akin to ffs).

Introduced lib/math.h which is a wrapper around <math.h> handling
name collisions by clever macro tricks.

One more #fix.

Remember to use xfree().

A stupid mistake. Former one.

Added another version of bgets() which doesn't die on too long lines and
reports an error instead.

I wrote it originally for new http.c, but the required http.c changes were
going to be too extensive, so I postponed the changes and this function
is currently unused, but probably worth saving for the future.

Also optimized the existing bgets functions a bit.

Removed a FIXME: the page cache balancing is certainly not optimal, but it
deserves more extensive changes than just tuning of contstants.

Split word types and meta types also in the free version.

Fixed off-by-one error.

Defined MAX_ATTR_SIZE and added checks to obj_write() to enforce it.

Don't forget to update this one.

Object functions are numerous enough to deserve their own header file.

Added obj_write_nocheck which writes the object as quickly as possible,
avoiding checks for strange chars which are probably useful only in the
gatherer anyway.

Some more cleanups.

OBJ_POOL_SIZE no longer needed.

Oops, forgot this one.

Objects always live in somebody else's pool.

obj_free and odes->local_pool are gone.

The changes were worth updating copyright :)

Replaced various attempts to speed up use of obj_add_attr() by simple
internal caching: odes->cached_attr points to the last attribute added
and it's guaranteed to be the last in its chain.

Removed oattr->last_same, the gain isn't worth the extra complexity
involved.

The $(LIBxxx) mechanism proved useful, so I'm switching to it for all other
libraries to simplify the Makefiles a bit. Unfortunately, this introduces
ugly ordering constraints on includes in top-level Makefile, but they can
be lived with.

get_func comment was outdated.

More configuration enhancements:

o  gatherer, indexer and search server can be left out, which can be useful
   when using Sherlock for indexing databases, because unusual custom.h
   with standard word types missing makes many gatherer modules uncompilable.
o  searching by document age is optional, you can switch it off to save
   index space.
o  indexing of file types is now partially supported by the default configuration,
   because I'm going to use the bottom 5 bits of the file_type (which were
   used only for images) for storing language code of text documents and
   it certainly isn't a centrum-specific thing. On the other hand, I'd like
   to keep the exact meaning of file type codes application specific, so the
   actual matching of file types is left in the customization header. Again,
   you can switch this off to save index space.

Moved indexer/oook.c (the catalogue & keyword processor) to where it
belongs: among other centrum-specific modules.

Cleaned up custom rules in makefiles: instead of defining lots of variables
for custom modules, allowed config.mk to specify a custom submakefile.

Oops, a bug in the profiler, causing time travels :)

Added functions for manipulating bit arrays. One day, an optimized
version for i386 using bts instruction et al. will appear.

MJ has forgotten to add ASORT_EXTRA_ARGS at the end of the sort procedure
declaration

Added function for measuring bucket file size (as an oid) and used it
for better progress indicator in the scanner.

Improved array sorter according to Robert's suggestions.

When killing dots at the end of host name, remove _all_ of them, not just
the last one. Without this, url_canonicalize on already believed to be
canonic names wasn't constant which causes havoc in gatherd.

Added generic array sorter.

Benchmark results on my K6/400MHz:
mj@albireo:~/src/sherlock/run$ bin/asort-test
qsort: 19209 ms
asort: 7544 ms

Line buffers are back on their original sizes, closes Bug #251.

In some cases, nextprime(x) could have been equal to x (reported by Milan).

Fixed a off-by-one error in vlog().

WT_LINK added into WORD_TYPES_META

Worked around problems with "www.xyz.cz" and "xyz.cz" being considered identical
in the gatherer and different in the indexer by adding a hack to calculation
of fingerprints (we cannot afford calling filters for each fingerprint,
one of reasons being speed, another filters being unavailable in the search
server). Closes bug #302.

Removed xprintf() -- it was very ugly and its only raison d'etre was
the lack of bprintf().

Added printf on fastbuf streams. The current implementation is not too
optimized for anything else than simplicity.

Several bug fixes in the logger:

o  No more hard limits on log name length.
o  If an error occurs during log switching, don't try it again.
o  Writes to log files are really atomic, we no more rely on stdio
   buffer being large enough (which it isn't).
o  Log entries are scanned for control characters which are then mapped to 0x7f.

Documented limit on number of word types.

Added support for shared libraries (CONFIG_SHARED switch in config.mk).

The makefiles are now able to build both static and shared libraries,
objects for shared libraries get suffix '.oo'. Use $(LS) in all references
to libraries, it expands to `.so' if CONFIG_SHARED, to `.a' otherwise.

Turned on by default.

When installing, dereference all symlinks.

Fixed bug in parse_tree() causing the parser to loop forever on some inputs.
It's interesting excercise to find out why not on all inputs :-)

Audited usage of MAX_WORD_LEN, fixed several bugs and documented
what does this constant really mean :)

"Call me 2.3, please."

Install libraries as well. Closes bug #318.

Introduced obuck_slurp_pool() to make reading of the whole bucket
pool faster, possibly using mmap.

Use it in `buckettool -c'.

bdirect_read_prepare() now returns 0 instead of EOF.

When bopen() is called with buffer size 0, it switches to bopen_mm().
The plan is to make use of mmapping configurable by the buffer sizes
in cf/sherlock.

Finished the fb-mmap module. Basic parameters are now configurable in cf/sherlock.

Squash warning with 32-bit sh_off_t.

Older versions of glibc don't have madvise.

Added a temporary hack for testing of fb-mmap. Please don't turn it on
unless you're willing to help me with debugging fb-mmap :-)

The is_temp_file variable was originally a good idea, but it made
different fb back-ends giving the same interface almost impossible.

I've replaced it with bconfig() which is a universal interface for
altering various fb settings. It's somewhat ioctl()-ish, but I hope
it won't hurt.

The fb-mmap module, now read/write. Still needs a lot of benchmarking before we decide
to switch the indexer to use it.

When writing, the data needn't start at the beginning of the buffer.
(We need this for fb-mmap since the buffer is always page aligned.)

Recognize not only user names, but also passwords.

added base64 module, it is imported from somewhere :))

MJ, if you dislike the code too much, please let me know

After a lot of benchmarking replaced the old super-smart bbcopy()
by a much simpler solution based on the bdirect interface and inlined
the fast path. Surprisingly, the new version is faster under real load
(the explanation is very simple: we use very large buffers for the
indexer and hence the bbcopy optimizations triggered rarely) and it also
works on all fastbuf streams, not only file-based ones.

Also, made bdirect_* inline.

Introduced bfdopen_shared() which behaves like bfdopen(), but on
bclose() the fd is left open. Especially useful for buffering stdin/out.

Damned automatic typecasts!

Better avoid the brain-dead encoding " " as "+" when generating URL's.

Fix escaping of "+" characters in outgoing parameters. (BTW: when Galeon
displays link URL's in the status line, it unqotes them improperly!)

Use ":" as a separator instead of "&" when constructing self-ref URL's.

Oops, the card array was reversed!

Forgot to commit with the rest of fastbuf changes.

Adapted to new fastbufs.

Adapted the bucket code to new fastbufs. Stream positions are now
always relative to bucket start (originally it was relative to file
start which was completely unusable, and hence unused :-) ).

Major cleanup of fastbufs:

  o  Split generic fastbuf from low-level routines. `struct fastbuf'
     no longer contains low-level data like `fd' or `is_temp_file'.
  o  Introduced safe type casting macros to avoid programming errors.
  o  `struct fastbuf' is no longer freed by the high-level code.
  o  Documented behaviour of bflush() between reads and writes.
  o  Redefined semantics of fastbuf->pos: it now corresponds to `bstop'
     instead of `buffer', hence it always coincides with real file
     position, making `fdpos' unnecessary.

Robert> uff, na prvni pohled nic nechapu, asi je to moc chytre :)

So I decided to learn how to use POD and write a POD documentation
for the module (in usual Perl fashion, it's a part of the module).
Use perldoc or pod2${format} to view or convert it.

Debug output now calls a given subroutine instead of print.

Added functions for automatic processing of script arguments.

Added first two functions of the Poor Man's CGI module.

More improvements of the Query module.

Added a simple Perl module for connecting to search server and parsing
its results to Perl data structures, converting nested structures and
multiple-valued attributes to arrays.

Also includes the print_tree function which has been originally written
as simple debugging dumper for the parsed query results, but in fact
it's able to dump any complex Perl data structure as long as it's
acyclic.

More to come, including an example (a very simple front-end for the
free version and maybe some more debugging tools).

Export functions for explicit locking.

The shell config helper now knows how to parse multiple-valued entries
and stores them as shell arrays.

Even normal entries are now output as they are seen for the first time,
leaving all the overriding on the shell.

Added a quick-check mode which does bucket file checks done during normal open
(i.e., the trailer check).