cleanup of new configuration: operation :unset replaced by :remove

Why to create a new operations?  Also, cleaned up the procedures so that
have unified interface.

configuration mechanism: added support for bitmaps

CONST is not PURE. Thanks to Pavel for spotting that.

Use LIKE_MALLOC and SENTINEL_CHECK for mempool operations.

Corrected definition of the PURE attribute.
Added LIKE_MALLOC and SENTINEL_CHECK attributes.
Polished a comment.

conf: forgot to initialize a local variable

just playing with multidimensional Hilbert curves
(trying to optimize duplicates search)

added missing include

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git

- parts of duplicates search, still very slow and full of insects
- signature vector converted from u16 to byte
- several improvements and fixes... and new bugs of course :-)

removed trailing spaces, fixed speed test, some moves

Faster sRGB -> Luv colorspace conversion.
I tried to implement two different algorithms. The first
one directly evaluates the conversion formula while the second
one is general interpolation of continous 3-dimensional function
f: [0,255]^3 -> [0,255]^3 given by a grid of sample values.

conf: don't die in bgets() on too long lines

When allocating dynamic arrays, respect alignment. I hope this is the
final revision :-)

Also, restrictions on dary element size shouldn't be necessary any longer.

conf: move the initialization of dynamic arrays from commit- to init-hook

conf: redesign dynamic arrays; things get cleaner and start to work now

conf: clearing a dynamic array allocates a zero-length array

conf: fix one journalling call

conf: expand a macro call, because it's used only once

Renamed conf-test.t to conf-test.cf, because .t usually denotes inputs
for build/tester.

When diffing for mail reports, detect renames and copies.

Replaced the DARY_ALLOC by a comment explaining when it doesn't work.

I think that we no longer need to worry about this macro, because the only
DARY initializations we needed so far were to an empty array and they are
done automatically now. When the need arises, we can add a simple function
for creating a DARY of a given length.

conf: handle NULL dynamic arrays before calling commit-hooks

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#dev-config

(Merged the dev-config branch with the mainline.)

Removed trailing whitespaces.

Please fix your editors not to generate such things, especially when
auto-indenting.

conf2: improved error messages (# of item in a list added)

conf2: initialize dynamic arrays so that they are not NULL

Introduced a configuration post-processor sherlock/autoconf.cfg, which
works similarly to lib/autoconf.cfg, but generates settings specific
to Sherlock.

CONFIG_GATHERER and CONFIG_ANALYSER are now automatically decided upon,
but they still can be overridden manually or set by the custom config file.

conf2: allow :clear on string attributes

conf2 header: added (c) and #ifdef

conf2: source files references in header files, and advanced journaling moved

conf2.c split into 7 smaller modules conf-*.c with include conf-internal.h

typo

The --dumpconfig option stops the program after dumping.

Improved comments.

Added stk_strjoin() as well.

Added a function for joining an array of strings, using an optional
separator.

conf2: fixed 2 bugs in parsing nested configuration files

split conf2.h into conf.h and getopt.h

conf: remove the old configuration mechanism whatsoever

Removed the cf/sherlock2 hack (will move the config files in a minute).

Also fixed a bug in parsing Includes. Robert, please verify the fix,
I am not sure I've done the right thing.

conf2: postponing of commits fixed

conf2: fix appending to a dynamic array set to NULL

conf2: when loading the initial configuration, commit only once at the end

conf2: polished error messages of commit-hooks

shell/config: check the default value from the command-line

shell/config: upgraded to use conf2 instead of conf

Cleaned up access-lists.

conf2: unified clist operations with the rest of Sherlock

conf2: list operation duplicate -> copy, and support for copying all nodes

conf2: implemented list operation duplicate

add a name of the user-defined type

conf2: dumper of the configuration polished; support printing names of user types

conf2: dumping of NULL strings polished

conf2: export low-level journalling functions for the filters

The addrmask type has its own dumper now.

Lookup lists are no longer char**, but byte**.

Dumpers don't return anything, especially not a void pointer :-)

If CONFIG_DEBUG is enabled, all programs support a --dumpconfig switch,
which dumps the current configuration.

conf2: lookup tables are byte** instead of char**

conf2: include <getopt.h> again, it's tedious to write it everywhere

Polish a comment too.

CF_LOOKUP lists must end with NULL.

ipaccess filters now use CF_USER for (addr,mask) pairs, operations
on lists now work fine.

Use CF_LOOKUP.

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#dev-config

Don't end error messages with a comma.

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#dev-config

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#dev-config

conf2: dynamic arrays allow negative maximal length

More ipaccess work-arounds (will be gone soon).

conf: parsing IP address fixed

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#dev-config

conf2: add 2 ASSERT's on checking the user-defined type size

conf2: added support for user-defined types (tested on u16)

Fixed operator priorities in cf_parse_ip().

conf2: add basic type CT_LOOKUP that maps strings to integers

Since I need to store both type==CT_LOOKUP and a pointer to the lookup
table, I moved the type out the union.  However, I have not blown up the
size of struct cf_item, because I have compressed class and type to 16
bits.

A preliminary version of the new ipaccess module.

Added CF_ARY_NUM and CF_JOURNAL_VAR.

- fixed accepted double 0x prefix ("0x0x12345678") and
  negative numbers ("-0.-0.-0.-0") in IP parser

The "don't cf_load on error exit" optimization was wrong.

bopen_safe() in conf2 was leaking file descriptors. I've replaced it
by a new bopen_try() in the fastbuf library and also cleaned up error
messages on unsuccessful file opens.

Started moving configuration sections to cf/sherlock2.

Don't load the default config file when an invalid option error is going
to be reported.

conf2: damn, I of course forgot to get rid of a debug message

conf2: implemented committing only dirty sections

This is now needed very much, because several commit-hooks allocate tens
of kilobytes of memory in the journal at each commit (e.g. alphabet.c)

conf2: correct unescaping of C-strings

fixed escape sequences parser

Simple parser for escape sequences.

conf2: report a bug when mixing line- and block- syntax improperly

conf2: insert a node into a list as soon as possible instead of at the end

This allows user-defined parsers to see nodes during processing and they
can easier check for duplicates (see lang/lang.c).

Pointers to lists should be relative to current section, too.

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git

lib: revert unwanted commit

damn, I tried to just delete one unwanted file from the list when
editing the commit-log, but cogito ignored the deletion and committed the
file anyway.  rollback then.

lib: converted to use conf2.c instead of conf.c

conf2: tested a few more test-cases and fixed/polished the code

- journal blocks are "transactions", don't overload the word "sections" too much
- added 2 long-term TODO's and 1 short-term FIXME
- the include command must be the last one on a line

- removed alpha channel
- added a simple algorithm for fast repeated image comparisions (will be
  used in duplicates finder)
- some small fixes

conf2: sorry, fix the commit-hook messages

conf2: fix commit hooks

conf2: MJ's objections taken care of

conf2: bugfixes in journaling

- commented usage of cf_malloc() vs. xmalloc() in init-hooks
- commented buggy DYN_ALLOC(double) macro
- don't bzero() static sections
- use bopen_safe()