conf2: resolve an issue concerning variable numbers of parameters

When a node of a link list is parsed on one line, then the inner section
is checked for dynamic attributes at the end.  If they are present, the
outer node is just parsed once and the flag allowing dynamic parsing is
passed inside.  If we did not allow this, then an error would have occured
anyway, and this behaviour is actually useful.

Along the way, I unified the headers and semantics of most interpreters and
cleaned up the code.

conf2: enhanced the interpreter so that it can parse almost anything on 1 line

I cleaned up the subroutines so that they form a nice recursive structure
that allows to parse almost anything (static and dynamic arrays, lists,
parsed value, and sections in all combinations) on 1 line, while detecting
ambiguities.

small fixes

added CF_UNS, because (int*) and (uns*) are uncompatible pointers

implemented parser of a single line and top-level sections unified

- we store registered sections in the same format as subsections so that we
  can search/process them in a uniform way
- implemented find_item() that can parse both absolute and relative paths
- all parsers of basic types simplified to take care of only 1 value;
  arrays are handled by the caller
- implemented a part of the interpretter: it gets parsed line (attribute
  name, desired operations, and parameters) and loads the values into
  memory.  since declarations can be nested and they can span over multiple
  lines, the interpretter operates on a stack

the init-hook of the main section inserts a few nodes into the link-list

added declaration and initialization of sections

fixes

cf_pool exported, journal not mandatory, and simplified swapping data

separated size of bucket ID (4 vs 5) and size of pointer (4 vs 8)

the first one belongs to sherlock.h and depends on the configuration and
the second one belongs to lib/config.h and depends on the architecture

Some description and corrections...

implemented journal and safe (re)loading of cf/files and setting variables

minor changes to KMP:
- added state initializer (KMP_STATE_INIT)
- fixed some formatting rules

parsers of basic types exported and got rid of the journaling switch

macros don't end by a comma, and CF_ITEMS/CF_END reintroduced

the reason is auto-indentation.  in this setting, editors don't get
confused and indent everything well

Removed KMP_ADD_EXTRA_VAR and some useless parenteses.

substantially changed the interface again

I realised that in the last interface I couldn't distinguish between static
and dynamic arrays of length exactly 1.  thinking about how to resolve the
problem led me to a different solution that is as easy to use as before,
but easier to implement, easier to extend by new basic types, and as a
bonus I get a natural interface for static arrays.

I then immediately scratched a duplicate code for parsing dynamic arrays,
because it can be easily unified now.  also, CF_ITEMS does not expect a
parameter now, because they the compiler messes up line numbers when an
error occurs.

custom arguments and return type of kmp_search replaced
with user's access to struct search

More changes in KMP:
- renamed P(context) -> P(struct)
- removed KMP_NO_DUPS
- changed syntax of user-defined variables in P(struct) and P(state)

Removed old KMP completely

Removed previously added parameter {KMP,HASH}_PARAM_POOL from
hashtable and KMP... it is not really necessary.
Added full support for non-integer character types and custom
allocation routines to KMP.

Fixed implicit declaration warning in hash-test.c

Enables the user to give non-global memory pool to hash table or KMP.

implemented a few functions of the new configuration mechanism:
- memory allocation
- skeleton of future journal functions
- parsers of all basic types and arrays of these types

- added prototypes of memory allocation and journal functions
- rearranged some declarations
- added proper copyright

FIxed indentation.

Slight improvements to comments.

#error when asked to unaccent ASCII characters.

missing commit

'make tests' executes also KMP tests

Language recognizer uses the new KMP... at last :-)

significant simplifications of the interface

- instead of letting the user to set cf_section.{size,init,commit}
  directly, macros CF_{TYPE,INIT,COMMIT} should be used
- another macro CF_ITEMS creates a CT_END-delimited list of cf_items
- all these macros automatically add commas so that declaring a list of
  cf_items behaves similarly to other preprocessor-made lists
- removed parameter name from parser hooks, because either the parser
  doesn't care and only uses *ptr, or it does and then it should be set up
  to pass the name in ptr
- no need to define hooks using _void_ *ptr; one can use any pointers
  according to his taste and the hook-function is automatically retyped
- renamed (to make it shorter) some enumerations and macros
- CHECK_VAR_TYPE and CF_FIELD renamed to CHECK_PTR_TYPE and PTR_TO, and
  moved to lib/lib.h

added macros CHECK_PTR_TYPE and PTR_TO

small KMP fixes

interface simplified and a few bugs removed

- array macros renamed and extended
- CF_FUNCTION renamed to CF_PARSER, and a number of parameters and a
  pointer to the target variable are passed into the parser function
- init-, commit-, and parser-hooks only get parameters that they need and
  they get it in a nice way so that they don't have to work much
- fixed CHECK_VAR_TYPE and a few other thingies

final changes to substr analyser... closes Bug 2385

corrections in substr analyser

designed the interface of the new configuration reader.  no code has been
written yet, because I better wait for an opinion first.  a tester app that
currently just checks compilability of all messy cf-declaration macros is
included.  don't worry about filenames; they will be eventually renamed.

Rewritten KMP... incomplete comments and some useful hooks for statistics

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git

Synchronized the dev-analyser branch with current state of the mainline.

Cleaned up CONFIG_CENTRUM_xxx switches:

  o  Everything related to the catalog is controlled by
     CONFIG_CENTRUM_CATALOG.
  o  Paid weights are implied by the catalog and the PL customization,
     which doesn't use them, just defines empty {get,set}_paid_weight().
  o  Nothing depends on CONFIG_CENTRUM_{CZ,SK,PL} now, but I am keeping
     them, because it's likely that it will be needed for some exceptions
     or experiments again soon.

All customizations compile except for centrum/* with shared libraries,
but the dependencies for that are already fixed in the dev-analyser branch.

Improved description of CONFIG_ALLOW_ANY.

Test at least one configuration with CONFIG_ALLOW_ANY.

New switch description

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.8

The image weighting backports in v3.8 have created some conflicts due to
formatting changes, so I have kept the mainline versions everywhere.
Weights were inherited from v3.8 except for IP and CK[WP]A.

IP parsing code moved to lib/conf.c, closes Bug #2375.

Added a guard against double inclusion (out-of-order merge from v3.8).

Removing the images directory which has leaked from the dev-img branch.

Added a work-around for make's desires.

Initial testing version of image signatures... very simple yet :-)

New version of SubStrings analyser...
- KMP uses continuous read of fastbuf streams
- the tag is OR combination of groups masks

New version of substring search analyser (bug 2315).

Forgotten comment

kmp_enter_raw_string uses zero-terminated array of kmp_char_t characters
instead of bytes

UTF-8 bug hunted in substring search

added #ifndef for header file

GIT uses mutt's default value of allow_8bit when sending a mail
and prefers ascii/iso-8859-2 charsets if possible.

GIT commit mails are now in UTF-8

Renamed fb-gbuf to fb-grow as Robert suggested.

Exclude the TAGS file as well.

Naming of the growing fastbuf was completely silly. This is hopefully better.

That's all for today (once more) :)

Support seeks on fbbuf streams.

Added a recyclable fastbuf over a growing buffer.
(Ideal for use in the indexer.)

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.8

Mux no longer crashes, removing the trap.

{stk,mp}_conv --> {stk,mp}_strconv

Slightly faster mp-charconv... minor change

Well, a simple variant of stk_conv.
I leave the complex one for experiments... ;)

Charset conversion with allocation on the stack do not
depend on string_table's lengths now.

Fix: .h indentation and ifdef names; some comments; stk-conv enlarges
string 3 times; warning in string_table generator.

Conversion between charsets with allocation on the stack
or a given memory pool. I will propably add some optimalizations...

gcc-4.1 should so far use the the same switches as 4.0.

Merged with v3.8

get rid of return's after ASSERT's.  that only caused warnings with (buggy)
gcc4

get rid of return's after ASSERT's.  that only caused warnings with (buggy)
gcc4

Merged with v3.8

Reverted most of the Robert's confused commit (the rest should be
harmless).

Merge with 3.8 (my small changes due to trying to release the free version)

I wanted to push my local 3.8 repository to the remote v3.8 one, but it
failed.  trying to push it at least to the mainline...

avoid compiler warnings with debugging turned off

CONFIG_INCREMENTAL doesn't belong to the free version

Debugging traps should dwell only in v3.8, so reverting them after
the automatic merge brought them into mainline.

Merge with git+ssh://cvs.ucw.cz/projects/sherlock/GIT/sherlock.git#v3.8

One more file to exclude.

.cvsignore is no longer needed.

Added the update hook script to the repository.

Added an exclude file, symlink it to .git/info/exclude if you wish.

Temporarily disabled signal trapping, backtraces over signal handlers
don't seem to work well in the version of gdb present in Woody.

Merged from rel-3-8:

Don't reset the pid field on process_del(), it's not tested anywhere anyway.

Hmm, there was one reference to mp->pid, but the ASSERT didn't make
much sense anyway, so I am removing it.

Hmm, there was one reference to mp->pid, but the ASSERT didn't make
much sense anyway, so I am removing it.

Don't reset the pid field on process_del(), it's not tested anywhere anyway.

Mainline heads for v3.9.

Centrum roles have changed.

Centrum roles have changed.

The Polish customization no longer has a default role.

Made gcc-3.4 the default compiler for customization checking.

Added getproctitle().

Replaced the long-lived "close(0) if logging to file" hack by closing
stdin in the daemon-helper.

Added bit_array_assign(), replaced BIT_ARRAY_ALLOC by functions.

main_init() really re-initializes everything. Previously, it could
result in malformed poll tables being built.

Also improved the debugging messages a lot.

It seems that signal safety of time-related functions is even more subtle
than I thought -- strftime() and localtime_r() can deadlock each other,
probably due to access to time zone information. Replaced strftime() by
a mere sprintf.

Added a possibility of logging with microsecond timestamps.