Objects always live in somebody else's pool.

obj_free and odes->local_pool are gone.

The changes were worth updating copyright :)

Replaced various attempts to speed up use of obj_add_attr() by simple
internal caching: odes->cached_attr points to the last attribute added
and it's guaranteed to be the last in its chain.

Removed oattr->last_same, the gain isn't worth the extra complexity
involved.

The $(LIBxxx) mechanism proved useful, so I'm switching to it for all other
libraries to simplify the Makefiles a bit. Unfortunately, this introduces
ugly ordering constraints on includes in top-level Makefile, but they can
be lived with.

get_func comment was outdated.

More configuration enhancements:

o  gatherer, indexer and search server can be left out, which can be useful
   when using Sherlock for indexing databases, because unusual custom.h
   with standard word types missing makes many gatherer modules uncompilable.
o  searching by document age is optional, you can switch it off to save
   index space.
o  indexing of file types is now partially supported by the default configuration,
   because I'm going to use the bottom 5 bits of the file_type (which were
   used only for images) for storing language code of text documents and
   it certainly isn't a centrum-specific thing. On the other hand, I'd like
   to keep the exact meaning of file type codes application specific, so the
   actual matching of file types is left in the customization header. Again,
   you can switch this off to save index space.

Moved indexer/oook.c (the catalogue & keyword processor) to where it
belongs: among other centrum-specific modules.

Cleaned up custom rules in makefiles: instead of defining lots of variables
for custom modules, allowed config.mk to specify a custom submakefile.

Oops, a bug in the profiler, causing time travels :)

Added functions for manipulating bit arrays. One day, an optimized
version for i386 using bts instruction et al. will appear.

MJ has forgotten to add ASORT_EXTRA_ARGS at the end of the sort procedure
declaration

Added function for measuring bucket file size (as an oid) and used it
for better progress indicator in the scanner.

Improved array sorter according to Robert's suggestions.

When killing dots at the end of host name, remove _all_ of them, not just
the last one. Without this, url_canonicalize on already believed to be
canonic names wasn't constant which causes havoc in gatherd.

Added generic array sorter.

Benchmark results on my K6/400MHz:
mj@albireo:~/src/sherlock/run$ bin/asort-test
qsort: 19209 ms
asort: 7544 ms

Line buffers are back on their original sizes, closes Bug #251.

In some cases, nextprime(x) could have been equal to x (reported by Milan).

Fixed a off-by-one error in vlog().

WT_LINK added into WORD_TYPES_META

Worked around problems with "www.xyz.cz" and "xyz.cz" being considered identical
in the gatherer and different in the indexer by adding a hack to calculation
of fingerprints (we cannot afford calling filters for each fingerprint,
one of reasons being speed, another filters being unavailable in the search
server). Closes bug #302.

Removed xprintf() -- it was very ugly and its only raison d'etre was
the lack of bprintf().

Added printf on fastbuf streams. The current implementation is not too
optimized for anything else than simplicity.

Several bug fixes in the logger:

o  No more hard limits on log name length.
o  If an error occurs during log switching, don't try it again.
o  Writes to log files are really atomic, we no more rely on stdio
   buffer being large enough (which it isn't).
o  Log entries are scanned for control characters which are then mapped to 0x7f.

Documented limit on number of word types.

Added support for shared libraries (CONFIG_SHARED switch in config.mk).

The makefiles are now able to build both static and shared libraries,
objects for shared libraries get suffix '.oo'. Use $(LS) in all references
to libraries, it expands to `.so' if CONFIG_SHARED, to `.a' otherwise.

Turned on by default.

When installing, dereference all symlinks.

Fixed bug in parse_tree() causing the parser to loop forever on some inputs.
It's interesting excercise to find out why not on all inputs :-)

Audited usage of MAX_WORD_LEN, fixed several bugs and documented
what does this constant really mean :)

"Call me 2.3, please."

Install libraries as well. Closes bug #318.

Introduced obuck_slurp_pool() to make reading of the whole bucket
pool faster, possibly using mmap.

Use it in `buckettool -c'.

bdirect_read_prepare() now returns 0 instead of EOF.

When bopen() is called with buffer size 0, it switches to bopen_mm().
The plan is to make use of mmapping configurable by the buffer sizes
in cf/sherlock.

Finished the fb-mmap module. Basic parameters are now configurable in cf/sherlock.

Squash warning with 32-bit sh_off_t.

Older versions of glibc don't have madvise.

Added a temporary hack for testing of fb-mmap. Please don't turn it on
unless you're willing to help me with debugging fb-mmap :-)

The is_temp_file variable was originally a good idea, but it made
different fb back-ends giving the same interface almost impossible.

I've replaced it with bconfig() which is a universal interface for
altering various fb settings. It's somewhat ioctl()-ish, but I hope
it won't hurt.

The fb-mmap module, now read/write. Still needs a lot of benchmarking before we decide
to switch the indexer to use it.

When writing, the data needn't start at the beginning of the buffer.
(We need this for fb-mmap since the buffer is always page aligned.)

Recognize not only user names, but also passwords.

added base64 module, it is imported from somewhere :))

MJ, if you dislike the code too much, please let me know

After a lot of benchmarking replaced the old super-smart bbcopy()
by a much simpler solution based on the bdirect interface and inlined
the fast path. Surprisingly, the new version is faster under real load
(the explanation is very simple: we use very large buffers for the
indexer and hence the bbcopy optimizations triggered rarely) and it also
works on all fastbuf streams, not only file-based ones.

Also, made bdirect_* inline.

Introduced bfdopen_shared() which behaves like bfdopen(), but on
bclose() the fd is left open. Especially useful for buffering stdin/out.

Damned automatic typecasts!

Better avoid the brain-dead encoding " " as "+" when generating URL's.

Fix escaping of "+" characters in outgoing parameters. (BTW: when Galeon
displays link URL's in the status line, it unqotes them improperly!)

Use ":" as a separator instead of "&" when constructing self-ref URL's.

Oops, the card array was reversed!

Forgot to commit with the rest of fastbuf changes.

Adapted to new fastbufs.

Adapted the bucket code to new fastbufs. Stream positions are now
always relative to bucket start (originally it was relative to file
start which was completely unusable, and hence unused :-) ).

Major cleanup of fastbufs:

  o  Split generic fastbuf from low-level routines. `struct fastbuf'
     no longer contains low-level data like `fd' or `is_temp_file'.
  o  Introduced safe type casting macros to avoid programming errors.
  o  `struct fastbuf' is no longer freed by the high-level code.
  o  Documented behaviour of bflush() between reads and writes.
  o  Redefined semantics of fastbuf->pos: it now corresponds to `bstop'
     instead of `buffer', hence it always coincides with real file
     position, making `fdpos' unnecessary.

Robert> uff, na prvni pohled nic nechapu, asi je to moc chytre :)

So I decided to learn how to use POD and write a POD documentation
for the module (in usual Perl fashion, it's a part of the module).
Use perldoc or pod2${format} to view or convert it.

Debug output now calls a given subroutine instead of print.

Added functions for automatic processing of script arguments.

Added first two functions of the Poor Man's CGI module.

More improvements of the Query module.

Added a simple Perl module for connecting to search server and parsing
its results to Perl data structures, converting nested structures and
multiple-valued attributes to arrays.

Also includes the print_tree function which has been originally written
as simple debugging dumper for the parsed query results, but in fact
it's able to dump any complex Perl data structure as long as it's
acyclic.

More to come, including an example (a very simple front-end for the
free version and maybe some more debugging tools).

Export functions for explicit locking.

The shell config helper now knows how to parse multiple-valued entries
and stores them as shell arrays.

Even normal entries are now output as they are seen for the first time,
leaving all the overriding on the shell.

Added a quick-check mode which does bucket file checks done during normal open
(i.e., the trailer check).

As usually, stuff in lib/* is LGPL'ed.

Allow setting of default configuration file.

Moved shell script support commands to lib/shell.

Added a Perl module for parsing options and configuration.

Allow SEEK_END. (I plan to rewrite seek in fbmem streams, the current
version is awfully slow.)

Deleted the .SECONDARY hack -- (1) it only patched the consequences, not
the real cause, (2) it broke building of scripts.

Work-around: after make distclean, run make runtree first. Make seems
to ignore rules for files in not-yet-existing directories.

Split bdirect_read to prepare and commit part (similarly to how
bdirect_write already works). This allows partial processing of
read data.

Tabs are legal in attribute values.

Forgot to decrease URL_PROTO_MAX when deleting sql protocol.

If not debugging, compile at least ASSERT(0) as call to an unreachable
function. (Avoid unassigned variable warnings.)

Oops, forgot WT_FILE there.

Need a cast if sh_off_t is short.

Forgot WT_LINK.

Added license notices to all library files which are not specific
to Sherlock (and are often shared with other projects) -- they will
be distributed according to the LGPL.

Finally found the cause of make remaking unnecessary files after complete
building from scratch: when it compiles anything by combining several
pattern rules (which exactly what we use), it deletes some of the intermediate
files. The fix is to specify all of these files as ".SECONDARY", but beware,
these special targets don't understand patterns, so we have to list the
intermediates explicitly. Uff.

Deleted too much.

Site compression turned to a configurable feature.

Moved customizations for Centrum to centrum/custom.

lib/custom.h now contains only generic definitions which will appear
in the freely distributable version.

After discussing the future of the SQL gatherer module with Milan,
we've decided to remove it (but it still remains in the CVS history,
of course).

Cut-and-paste comments :-)

Failed ASSERT now dumps core.

Oops, a memory leak in the presorter.

Expand shell metacharacters (most importantly "~") in destination name.

No more a development version.

Added an "install" target.

Oops, forgot a ')'.

WORD_TYPES_HIDDEN shouldn't be considered META by default.

WT_LINK shouldn't be considered accent-less. This might cause sherlockd
to fail to find matches in link texts from non-accented documents to
accented ones, but I think that it's more acceptable than producing
false matches. Unfortunately, we how no ways to describe accentedness
of a part of document text.

added v?xprintf() functions, they will be used in the filter dumper

it is usable, for example, for printf()'ing to anything (like fastbufs)

HASH_WANT_FIND_NEXT fixed and its declaration changed

added the capability of hashing/finding more records with equal value
of the key

Increase line buffer sizes to 4096 bytes. Current gatherd really can
produce such long lines under several circumstances, need to examine
how is that possible.

Due to a bug, the "fsck" mode was unable to fix broken trailers.

When an inconsistency is encountered while shaking down the bucket
file, recover all data prior to the inconsistency by marking the
space between read and write pointer as deleted buckets (need to
use more of them if the space is too large).

When moving attributes, don't break the chain.

Implemented merging of catalog attributes to the index. Just place the
catalog dump to db/catalog.gz (e.g., by running utils/fetch-cat.sh)
and run the indexer.

Unfortunately, we've just filled up all the available word types :-(

Removed obsolete examples of custom attributes. The image search attributes
themselves are a good enough example.

When O_APPEND is given to bopen(), don't forget to set fb->pos and fb->fdpos.

dmalloc and efence work again (ported from rel-2.1 branch).

malloc -> xmalloc.

Introduced SKIP_TAGGED_CHAR.