Finished the fb-mmap module. Basic parameters are now configurable in cf/sherlock.

Squash warning with 32-bit sh_off_t.

Older versions of glibc don't have madvise.

Added a temporary hack for testing of fb-mmap. Please don't turn it on
unless you're willing to help me with debugging fb-mmap :-)

The is_temp_file variable was originally a good idea, but it made
different fb back-ends giving the same interface almost impossible.

I've replaced it with bconfig() which is a universal interface for
altering various fb settings. It's somewhat ioctl()-ish, but I hope
it won't hurt.

The fb-mmap module, now read/write. Still needs a lot of benchmarking before we decide
to switch the indexer to use it.

When writing, the data needn't start at the beginning of the buffer.
(We need this for fb-mmap since the buffer is always page aligned.)

Recognize not only user names, but also passwords.

added base64 module, it is imported from somewhere :))

MJ, if you dislike the code too much, please let me know

After a lot of benchmarking replaced the old super-smart bbcopy()
by a much simpler solution based on the bdirect interface and inlined
the fast path. Surprisingly, the new version is faster under real load
(the explanation is very simple: we use very large buffers for the
indexer and hence the bbcopy optimizations triggered rarely) and it also
works on all fastbuf streams, not only file-based ones.

Also, made bdirect_* inline.

Introduced bfdopen_shared() which behaves like bfdopen(), but on
bclose() the fd is left open. Especially useful for buffering stdin/out.

Damned automatic typecasts!

Better avoid the brain-dead encoding " " as "+" when generating URL's.

Fix escaping of "+" characters in outgoing parameters. (BTW: when Galeon
displays link URL's in the status line, it unqotes them improperly!)

Use ":" as a separator instead of "&" when constructing self-ref URL's.

Oops, the card array was reversed!

Forgot to commit with the rest of fastbuf changes.

Adapted to new fastbufs.

Adapted the bucket code to new fastbufs. Stream positions are now
always relative to bucket start (originally it was relative to file
start which was completely unusable, and hence unused :-) ).

Major cleanup of fastbufs:

  o  Split generic fastbuf from low-level routines. `struct fastbuf'
     no longer contains low-level data like `fd' or `is_temp_file'.
  o  Introduced safe type casting macros to avoid programming errors.
  o  `struct fastbuf' is no longer freed by the high-level code.
  o  Documented behaviour of bflush() between reads and writes.
  o  Redefined semantics of fastbuf->pos: it now corresponds to `bstop'
     instead of `buffer', hence it always coincides with real file
     position, making `fdpos' unnecessary.

Robert> uff, na prvni pohled nic nechapu, asi je to moc chytre :)

So I decided to learn how to use POD and write a POD documentation
for the module (in usual Perl fashion, it's a part of the module).
Use perldoc or pod2${format} to view or convert it.

Debug output now calls a given subroutine instead of print.

Added functions for automatic processing of script arguments.

Added first two functions of the Poor Man's CGI module.

More improvements of the Query module.

Added a simple Perl module for connecting to search server and parsing
its results to Perl data structures, converting nested structures and
multiple-valued attributes to arrays.

Also includes the print_tree function which has been originally written
as simple debugging dumper for the parsed query results, but in fact
it's able to dump any complex Perl data structure as long as it's
acyclic.

More to come, including an example (a very simple front-end for the
free version and maybe some more debugging tools).

Export functions for explicit locking.

The shell config helper now knows how to parse multiple-valued entries
and stores them as shell arrays.

Even normal entries are now output as they are seen for the first time,
leaving all the overriding on the shell.

Added a quick-check mode which does bucket file checks done during normal open
(i.e., the trailer check).

As usually, stuff in lib/* is LGPL'ed.

Allow setting of default configuration file.

Moved shell script support commands to lib/shell.

Added a Perl module for parsing options and configuration.

Allow SEEK_END. (I plan to rewrite seek in fbmem streams, the current
version is awfully slow.)

Deleted the .SECONDARY hack -- (1) it only patched the consequences, not
the real cause, (2) it broke building of scripts.

Work-around: after make distclean, run make runtree first. Make seems
to ignore rules for files in not-yet-existing directories.

Split bdirect_read to prepare and commit part (similarly to how
bdirect_write already works). This allows partial processing of
read data.

Tabs are legal in attribute values.

Forgot to decrease URL_PROTO_MAX when deleting sql protocol.

If not debugging, compile at least ASSERT(0) as call to an unreachable
function. (Avoid unassigned variable warnings.)

Oops, forgot WT_FILE there.

Need a cast if sh_off_t is short.

Forgot WT_LINK.

Added license notices to all library files which are not specific
to Sherlock (and are often shared with other projects) -- they will
be distributed according to the LGPL.

Finally found the cause of make remaking unnecessary files after complete
building from scratch: when it compiles anything by combining several
pattern rules (which exactly what we use), it deletes some of the intermediate
files. The fix is to specify all of these files as ".SECONDARY", but beware,
these special targets don't understand patterns, so we have to list the
intermediates explicitly. Uff.

Deleted too much.

Site compression turned to a configurable feature.

Moved customizations for Centrum to centrum/custom.

lib/custom.h now contains only generic definitions which will appear
in the freely distributable version.

After discussing the future of the SQL gatherer module with Milan,
we've decided to remove it (but it still remains in the CVS history,
of course).

Cut-and-paste comments :-)

Failed ASSERT now dumps core.

Oops, a memory leak in the presorter.

Expand shell metacharacters (most importantly "~") in destination name.

No more a development version.

Added an "install" target.

Oops, forgot a ')'.

WORD_TYPES_HIDDEN shouldn't be considered META by default.

WT_LINK shouldn't be considered accent-less. This might cause sherlockd
to fail to find matches in link texts from non-accented documents to
accented ones, but I think that it's more acceptable than producing
false matches. Unfortunately, we how no ways to describe accentedness
of a part of document text.

added v?xprintf() functions, they will be used in the filter dumper

it is usable, for example, for printf()'ing to anything (like fastbufs)

HASH_WANT_FIND_NEXT fixed and its declaration changed

added the capability of hashing/finding more records with equal value
of the key

Increase line buffer sizes to 4096 bytes. Current gatherd really can
produce such long lines under several circumstances, need to examine
how is that possible.

Due to a bug, the "fsck" mode was unable to fix broken trailers.

When an inconsistency is encountered while shaking down the bucket
file, recover all data prior to the inconsistency by marking the
space between read and write pointer as deleted buckets (need to
use more of them if the space is too large).

When moving attributes, don't break the chain.

Implemented merging of catalog attributes to the index. Just place the
catalog dump to db/catalog.gz (e.g., by running utils/fetch-cat.sh)
and run the indexer.

Unfortunately, we've just filled up all the available word types :-(

Removed obsolete examples of custom attributes. The image search attributes
themselves are a good enough example.

When O_APPEND is given to bopen(), don't forget to set fb->pos and fb->fdpos.

dmalloc and efence work again (ported from rel-2.1 branch).

malloc -> xmalloc.

Introduced SKIP_TAGGED_CHAR.

UTF8_SKIP now recognizes the real end of the UTF-8 character
and doesn't get confused by garbage after it.

Added a macro UTF8_SKIP for skipping a UTF-8 character without decoding it.

New functions for manipulating attribute lists: obj_prepend_attr()
and obj_insert_attr().

Merging IS branch: New customization code and its use for images.

The universal hash table generator now uses prime table sizes instead of
powers of two. This slows down all operations a little as we now need
to perform division instead of just AND-ing with a mask, but it allows
us to use the new hash functions in hashfunc.h which are significantly
faster than the original ones (at the expense of having bad distribution
modulo non-primes).

Also changed the limit logic to avoid rehashing when the table is already
too small or too large.

SHIFT_BITS changed from 5 to 7 to fit the UCS-2 strings better

loop unrolling turned on for hashfunc.o

wow!  i have optimized str_len_uns() yet more :-)  now it is not slowed
down when a 0x80 byte is present.  a slight simple change.

CONST attribute of functions noted in a better place

Moved MAX_COMPLEX_LEN to index.h.

- str_hash.[ch] renamed to hashfunc.[ch], the functions renamed
- deleted hash-{block,istring,string}.c, their functionality merged into
  hashfunc.[ch]
- str-test.c rewritten to use the new name-style, char->byte, more tests
  added

__attribute__((const)) replaced by CONST

If have GET_O and GET_P, we should have PUT_O and PUT_P as well.

Prevent multiple inclusion.

ST_BACKREF is gone. Frame backlinks are not indexed at all (it makes no sense
to search by them), redirect backlinks are indexed as ST_URL.

after a long time of experimenting, added a support for unaligned parameters

when testing benchmarks of string operations, a user specified alignment
is taken into account

added macro UNALIGNED_PART()

Warning fixes.

Added a macro for __attribute__((const)).

Robert, please update your hash functions to use this.

Make PROF_STR really work.

Index reftexts, but don't search in them by default.

Added block hash function.

Added word types for file name keywords and link texts.

Don't forget to define SHERLOCK_HAVE_PREAD.

Shut up signed/unsigned warnings.

Added bopen_tmp() for opening of temporary files.

Replaced sorter_open_tmp() by bopen_tmp().

- added str_hash.[ch] for fast evaluation of str_len() and str_hash()
- added a tester/benchmark str-test.c, it is not compiled by default

mmap_file() calls die() instead of returning failure.

Image objects are now marked with a special flag and the MD5 hash is calculated
from both text and the thumbnail.

Added bget_tagged_char().

Need to include unicode.h for GET_UTF8.