conf2: initialize dynamic arrays so that they are not NULL

Introduced a configuration post-processor sherlock/autoconf.cfg, which
works similarly to lib/autoconf.cfg, but generates settings specific
to Sherlock.

CONFIG_GATHERER and CONFIG_ANALYSER are now automatically decided upon,
but they still can be overridden manually or set by the custom config file.

conf2: allow :clear on string attributes

conf2 header: added (c) and #ifdef

conf2: source files references in header files, and advanced journaling moved

conf2.c split into 7 smaller modules conf-*.c with include conf-internal.h

The --dumpconfig option stops the program after dumping.

Improved comments.

Added stk_strjoin() as well.

Added a function for joining an array of strings, using an optional
separator.

conf2: fixed 2 bugs in parsing nested configuration files

split conf2.h into conf.h and getopt.h

conf: remove the old configuration mechanism whatsoever

Removed the cf/sherlock2 hack (will move the config files in a minute).

Also fixed a bug in parsing Includes. Robert, please verify the fix,
I am not sure I've done the right thing.

conf2: postponing of commits fixed

conf2: fix appending to a dynamic array set to NULL

conf2: when loading the initial configuration, commit only once at the end

conf2: polished error messages of commit-hooks

shell/config: check the default value from the command-line

shell/config: upgraded to use conf2 instead of conf

Cleaned up access-lists.

conf2: unified clist operations with the rest of Sherlock

conf2: list operation duplicate -> copy, and support for copying all nodes

conf2: implemented list operation duplicate

add a name of the user-defined type

conf2: dumper of the configuration polished; support printing names of user types

conf2: dumping of NULL strings polished

conf2: export low-level journalling functions for the filters

The addrmask type has its own dumper now.

Lookup lists are no longer char**, but byte**.

Dumpers don't return anything, especially not a void pointer :-)

If CONFIG_DEBUG is enabled, all programs support a --dumpconfig switch,
which dumps the current configuration.

conf2: lookup tables are byte** instead of char**

conf2: include <getopt.h> again, it's tedious to write it everywhere

Polish a comment too.

CF_LOOKUP lists must end with NULL.

ipaccess filters now use CF_USER for (addr,mask) pairs, operations
on lists now work fine.

Use CF_LOOKUP.

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#dev-config

Don't end error messages with a comma.

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#dev-config

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#dev-config

conf2: dynamic arrays allow negative maximal length

More ipaccess work-arounds (will be gone soon).

conf: parsing IP address fixed

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#dev-config

conf2: add 2 ASSERT's on checking the user-defined type size

conf2: added support for user-defined types (tested on u16)

Fixed operator priorities in cf_parse_ip().

conf2: add basic type CT_LOOKUP that maps strings to integers

Since I need to store both type==CT_LOOKUP and a pointer to the lookup
table, I moved the type out the union.  However, I have not blown up the
size of struct cf_item, because I have compressed class and type to 16
bits.

A preliminary version of the new ipaccess module.

Added CF_ARY_NUM and CF_JOURNAL_VAR.

- fixed accepted double 0x prefix ("0x0x12345678") and
  negative numbers ("-0.-0.-0.-0") in IP parser

The "don't cf_load on error exit" optimization was wrong.

bopen_safe() in conf2 was leaking file descriptors. I've replaced it
by a new bopen_try() in the fastbuf library and also cleaned up error
messages on unsuccessful file opens.

Started moving configuration sections to cf/sherlock2.

Don't load the default config file when an invalid option error is going
to be reported.

conf2: damn, I of course forgot to get rid of a debug message

conf2: implemented committing only dirty sections

This is now needed very much, because several commit-hooks allocate tens
of kilobytes of memory in the journal at each commit (e.g. alphabet.c)

conf2: correct unescaping of C-strings

fixed escape sequences parser

Simple parser for escape sequences.

conf2: report a bug when mixing line- and block- syntax improperly

conf2: insert a node into a list as soon as possible instead of at the end

This allows user-defined parsers to see nodes during processing and they
can easier check for duplicates (see lang/lang.c).

Pointers to lists should be relative to current section, too.

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git

lib: revert unwanted commit

damn, I tried to just delete one unwanted file from the list when
editing the commit-log, but cogito ignored the deletion and committed the
file anyway.  rollback then.

lib: converted to use conf2.c instead of conf.c

conf2: tested a few more test-cases and fixed/polished the code

- journal blocks are "transactions", don't overload the word "sections" too much
- added 2 long-term TODO's and 1 short-term FIXME
- the include command must be the last one on a line

conf2: sorry, fix the commit-hook messages

conf2: fix commit hooks

conf2: MJ's objections taken care of

conf2: bugfixes in journaling

- commented usage of cf_malloc() vs. xmalloc() in init-hooks
- commented buggy DYN_ALLOC(double) macro
- don't bzero() static sections
- use bopen_safe()

conf2: verified and fixed all parsers

conf2: fixed journaling of list operations

conf2: lists seem to be debugged

conf2: 2 bugfixes concerning dynamic arrays and lists

conf2: debug dumping of memory into a fastbuf partially implemented

conf2: another bug hunted

conf2: removed handling of dirty pages

2 XXX's and 1 FIXME deleted by just omitting the whole functionality and
commiting _all_ pages after each reload.  it should not cost much more than
a bit of memory.

conf2: debugged a lot

- closing_brace() confused current operation with the one on the stack a lot
- get_word() fix when recognizing = in the parameter name
- split_line() totally rewritten to 2 nice procedures: get_token() and
  split_command()
- #include back to include, otherwise it would be a comment
- local fastbufs in parse_fastbuf()

- the test file updated accordingly

conf2: journaling of lists still doesn't work, doubles don't accept "." yet

conf2-test: add a simple tester configuration file

conf2: several bugfixes, and added interpolation of C-strings

conf2: call commit-hooks on dirty sections

I have, however, added 2 XXX's, because the whole concept of dirtiness has
not been thoroughly thought about.  It's indeed dirty.

ipaccess: move here temporarily cf_parse_ip()

conf: comment out parsers before I get rid of the module whatsoever

The parsers collide with conf2.c and I want to be able to have both modules
in the library before I convert all programs.

conf2: fill in the skeleton of the tester

conf2.c: enable the journal by default

conf2: added interface for accessing cf_items from outside

- find_item() changed to return a real pointer too
- added cf_find_item() and cf_write_item()
- enum operation moved to the header

conf2: implemented a command-line parser and sections supporting unknown items

conf2: full implementation of the parser; only command-line parsing is missing

plus:
- added macro TRY() polishing the code a bit
- cf_(re)load() and cf_set() return an int, not an error message
- names of operations stringified

conf2: added a parser for IP addresses

plus added two error messages when trying to set an attribute without
giving any value

conf2: bugfix in editing and adding before/after a node of a link list

interpret_add_list() allocates memory himself, hence it is not suitable for
these operations.  since the real code is only 2 lines long, I moved the
functionality to closing_brace().  I changed its interface too, hence it
can be used much simpler and interpret_line() can be returned to its
original form.

conf2: bugfix in tracing the recursion

conf2: implemented all list operations in the interpreter

- added operations OP_EDIT, OP_AFTER, OP_BEFORE, and flags OP_1ST, OP_2ND
  denoting the phase (forming a search query vs. filling in the data)
- add_to_list() extended to support all list operations
- definition of stack moved closer to the interpreter, because many
  functions don't need it
- implemented find_list_node(), opening_brace (former increase_stack), and
  closing_brace() that fully support all operations
- the top of interpret_line() rewritten too

conf2: record used selectors when searching in lists

- store number of entries to section flags
- find_item() fixed so that it correctly handles accesses to unknown
  top-level sections.  also setting an absolute attribute (i.e. not
  relative to the current section) starts with a caret now.
- added an u32 mask to the stack and record_selector() that fills it

conf2: implement clearing a dynamic array

conf2: fix skipping unspecified parameters at the end of the line

Along the way, I precompute flags for each section at the initialization.
Some headers unified.

conf2: resolve an issue concerning variable numbers of parameters

When a node of a link list is parsed on one line, then the inner section
is checked for dynamic attributes at the end.  If they are present, the
outer node is just parsed once and the flag allowing dynamic parsing is
passed inside.  If we did not allow this, then an error would have occured
anyway, and this behaviour is actually useful.

Along the way, I unified the headers and semantics of most interpreters and
cleaned up the code.

conf2: enhanced the interpreter so that it can parse almost anything on 1 line

I cleaned up the subroutines so that they form a nice recursive structure
that allows to parse almost anything (static and dynamic arrays, lists,
parsed value, and sections in all combinations) on 1 line, while detecting
ambiguities.