conf2: insert a node into a list as soon as possible instead of at the end

This allows user-defined parsers to see nodes during processing and they
can easier check for duplicates (see lang/lang.c).

Pointers to lists should be relative to current section, too.

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git

lib: revert unwanted commit

damn, I tried to just delete one unwanted file from the list when
editing the commit-log, but cogito ignored the deletion and committed the
file anyway.  rollback then.

lib: converted to use conf2.c instead of conf.c

conf2: tested a few more test-cases and fixed/polished the code

- journal blocks are "transactions", don't overload the word "sections" too much
- added 2 long-term TODO's and 1 short-term FIXME
- the include command must be the last one on a line

conf2: sorry, fix the commit-hook messages

conf2: fix commit hooks

conf2: MJ's objections taken care of

conf2: bugfixes in journaling

- commented usage of cf_malloc() vs. xmalloc() in init-hooks
- commented buggy DYN_ALLOC(double) macro
- don't bzero() static sections
- use bopen_safe()

conf2: verified and fixed all parsers

conf2: fixed journaling of list operations

conf2: lists seem to be debugged

conf2: 2 bugfixes concerning dynamic arrays and lists

conf2: debug dumping of memory into a fastbuf partially implemented

conf2: another bug hunted

conf2: removed handling of dirty pages

2 XXX's and 1 FIXME deleted by just omitting the whole functionality and
commiting _all_ pages after each reload.  it should not cost much more than
a bit of memory.

conf2: debugged a lot

- closing_brace() confused current operation with the one on the stack a lot
- get_word() fix when recognizing = in the parameter name
- split_line() totally rewritten to 2 nice procedures: get_token() and
  split_command()
- #include back to include, otherwise it would be a comment
- local fastbufs in parse_fastbuf()

- the test file updated accordingly

conf2: journaling of lists still doesn't work, doubles don't accept "." yet

conf2-test: add a simple tester configuration file

conf2: several bugfixes, and added interpolation of C-strings

conf2: call commit-hooks on dirty sections

I have, however, added 2 XXX's, because the whole concept of dirtiness has
not been thoroughly thought about.  It's indeed dirty.

ipaccess: move here temporarily cf_parse_ip()

conf: comment out parsers before I get rid of the module whatsoever

The parsers collide with conf2.c and I want to be able to have both modules
in the library before I convert all programs.

conf2: fill in the skeleton of the tester

conf2.c: enable the journal by default

conf2: added interface for accessing cf_items from outside

- find_item() changed to return a real pointer too
- added cf_find_item() and cf_write_item()
- enum operation moved to the header

conf2: implemented a command-line parser and sections supporting unknown items

conf2: full implementation of the parser; only command-line parsing is missing

plus:
- added macro TRY() polishing the code a bit
- cf_(re)load() and cf_set() return an int, not an error message
- names of operations stringified

conf2: added a parser for IP addresses

plus added two error messages when trying to set an attribute without
giving any value

conf2: bugfix in editing and adding before/after a node of a link list

interpret_add_list() allocates memory himself, hence it is not suitable for
these operations.  since the real code is only 2 lines long, I moved the
functionality to closing_brace().  I changed its interface too, hence it
can be used much simpler and interpret_line() can be returned to its
original form.

conf2: bugfix in tracing the recursion

conf2: implemented all list operations in the interpreter

- added operations OP_EDIT, OP_AFTER, OP_BEFORE, and flags OP_1ST, OP_2ND
  denoting the phase (forming a search query vs. filling in the data)
- add_to_list() extended to support all list operations
- definition of stack moved closer to the interpreter, because many
  functions don't need it
- implemented find_list_node(), opening_brace (former increase_stack), and
  closing_brace() that fully support all operations
- the top of interpret_line() rewritten too

conf2: record used selectors when searching in lists

- store number of entries to section flags
- find_item() fixed so that it correctly handles accesses to unknown
  top-level sections.  also setting an absolute attribute (i.e. not
  relative to the current section) starts with a caret now.
- added an u32 mask to the stack and record_selector() that fills it

conf2: implement clearing a dynamic array

conf2: fix skipping unspecified parameters at the end of the line

Along the way, I precompute flags for each section at the initialization.
Some headers unified.

conf2: resolve an issue concerning variable numbers of parameters

When a node of a link list is parsed on one line, then the inner section
is checked for dynamic attributes at the end.  If they are present, the
outer node is just parsed once and the flag allowing dynamic parsing is
passed inside.  If we did not allow this, then an error would have occured
anyway, and this behaviour is actually useful.

Along the way, I unified the headers and semantics of most interpreters and
cleaned up the code.

conf2: enhanced the interpreter so that it can parse almost anything on 1 line

I cleaned up the subroutines so that they form a nice recursive structure
that allows to parse almost anything (static and dynamic arrays, lists,
parsed value, and sections in all combinations) on 1 line, while detecting
ambiguities.

small fixes

added CF_UNS, because (int*) and (uns*) are uncompatible pointers

implemented parser of a single line and top-level sections unified

- we store registered sections in the same format as subsections so that we
  can search/process them in a uniform way
- implemented find_item() that can parse both absolute and relative paths
- all parsers of basic types simplified to take care of only 1 value;
  arrays are handled by the caller
- implemented a part of the interpretter: it gets parsed line (attribute
  name, desired operations, and parameters) and loads the values into
  memory.  since declarations can be nested and they can span over multiple
  lines, the interpretter operates on a stack

the init-hook of the main section inserts a few nodes into the link-list

added declaration and initialization of sections

fixes

cf_pool exported, journal not mandatory, and simplified swapping data

separated size of bucket ID (4 vs 5) and size of pointer (4 vs 8)

the first one belongs to sherlock.h and depends on the configuration and
the second one belongs to lib/config.h and depends on the architecture

Some description and corrections...

implemented journal and safe (re)loading of cf/files and setting variables

minor changes to KMP:
- added state initializer (KMP_STATE_INIT)
- fixed some formatting rules

parsers of basic types exported and got rid of the journaling switch

macros don't end by a comma, and CF_ITEMS/CF_END reintroduced

the reason is auto-indentation.  in this setting, editors don't get
confused and indent everything well

Removed KMP_ADD_EXTRA_VAR and some useless parenteses.

substantially changed the interface again

I realised that in the last interface I couldn't distinguish between static
and dynamic arrays of length exactly 1.  thinking about how to resolve the
problem led me to a different solution that is as easy to use as before,
but easier to implement, easier to extend by new basic types, and as a
bonus I get a natural interface for static arrays.

I then immediately scratched a duplicate code for parsing dynamic arrays,
because it can be easily unified now.  also, CF_ITEMS does not expect a
parameter now, because they the compiler messes up line numbers when an
error occurs.

custom arguments and return type of kmp_search replaced
with user's access to struct search

More changes in KMP:
- renamed P(context) -> P(struct)
- removed KMP_NO_DUPS
- changed syntax of user-defined variables in P(struct) and P(state)

Removed old KMP completely

Removed previously added parameter {KMP,HASH}_PARAM_POOL from
hashtable and KMP... it is not really necessary.
Added full support for non-integer character types and custom
allocation routines to KMP.

Fixed implicit declaration warning in hash-test.c

Enables the user to give non-global memory pool to hash table or KMP.

implemented a few functions of the new configuration mechanism:
- memory allocation
- skeleton of future journal functions
- parsers of all basic types and arrays of these types

- added prototypes of memory allocation and journal functions
- rearranged some declarations
- added proper copyright

FIxed indentation.

Slight improvements to comments.

#error when asked to unaccent ASCII characters.

missing commit

'make tests' executes also KMP tests

Language recognizer uses the new KMP... at last :-)

significant simplifications of the interface

- instead of letting the user to set cf_section.{size,init,commit}
  directly, macros CF_{TYPE,INIT,COMMIT} should be used
- another macro CF_ITEMS creates a CT_END-delimited list of cf_items
- all these macros automatically add commas so that declaring a list of
  cf_items behaves similarly to other preprocessor-made lists
- removed parameter name from parser hooks, because either the parser
  doesn't care and only uses *ptr, or it does and then it should be set up
  to pass the name in ptr
- no need to define hooks using _void_ *ptr; one can use any pointers
  according to his taste and the hook-function is automatically retyped
- renamed (to make it shorter) some enumerations and macros
- CHECK_VAR_TYPE and CF_FIELD renamed to CHECK_PTR_TYPE and PTR_TO, and
  moved to lib/lib.h

added macros CHECK_PTR_TYPE and PTR_TO

small KMP fixes

interface simplified and a few bugs removed

- array macros renamed and extended
- CF_FUNCTION renamed to CF_PARSER, and a number of parameters and a
  pointer to the target variable are passed into the parser function
- init-, commit-, and parser-hooks only get parameters that they need and
  they get it in a nice way so that they don't have to work much
- fixed CHECK_VAR_TYPE and a few other thingies

final changes to substr analyser... closes Bug 2385

corrections in substr analyser

designed the interface of the new configuration reader.  no code has been
written yet, because I better wait for an opinion first.  a tester app that
currently just checks compilability of all messy cf-declaration macros is
included.  don't worry about filenames; they will be eventually renamed.

Rewritten KMP... incomplete comments and some useful hooks for statistics

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git

Synchronized the dev-analyser branch with current state of the mainline.

Cleaned up CONFIG_CENTRUM_xxx switches:

  o  Everything related to the catalog is controlled by
     CONFIG_CENTRUM_CATALOG.
  o  Paid weights are implied by the catalog and the PL customization,
     which doesn't use them, just defines empty {get,set}_paid_weight().
  o  Nothing depends on CONFIG_CENTRUM_{CZ,SK,PL} now, but I am keeping
     them, because it's likely that it will be needed for some exceptions
     or experiments again soon.

All customizations compile except for centrum/* with shared libraries,
but the dependencies for that are already fixed in the dev-analyser branch.

Improved description of CONFIG_ALLOW_ANY.

Test at least one configuration with CONFIG_ALLOW_ANY.

New switch description

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.8

The image weighting backports in v3.8 have created some conflicts due to
formatting changes, so I have kept the mainline versions everywhere.
Weights were inherited from v3.8 except for IP and CK[WP]A.

IP parsing code moved to lib/conf.c, closes Bug #2375.

Added a guard against double inclusion (out-of-order merge from v3.8).

Removing the images directory which has leaked from the dev-img branch.

Added a work-around for make's desires.

Initial testing version of image signatures... very simple yet :-)

New version of SubStrings analyser...
- KMP uses continuous read of fastbuf streams
- the tag is OR combination of groups masks

New version of substring search analyser (bug 2315).

Forgotten comment

kmp_enter_raw_string uses zero-terminated array of kmp_char_t characters
instead of bytes

UTF-8 bug hunted in substring search

added #ifndef for header file

GIT uses mutt's default value of allow_8bit when sending a mail
and prefers ascii/iso-8859-2 charsets if possible.

GIT commit mails are now in UTF-8

Renamed fb-gbuf to fb-grow as Robert suggested.

Exclude the TAGS file as well.

Naming of the growing fastbuf was completely silly. This is hopefully better.

That's all for today (once more) :)

Support seeks on fbbuf streams.

Added a recyclable fastbuf over a growing buffer.
(Ideal for use in the indexer.)

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.8

Mux no longer crashes, removing the trap.