Merge branch 'master' of ssh://git.ucw.cz/projects/libucw/GIT/libucw

libucw: OFFSETOF returns an unsigned int again

ucwlib: -- use offsetof() from C99

Use size_t in xmalloc_zero.

Use size_t in xmalloc() and xrealloc().

Fixed a typo in guard macro name.

redblack: Improved customization of memory allocator

Main: Add main_step()

Main: Allow main_loop() to be re-entered after shutdown

Merge branch 'dev-mainloop'

Main: One more relnote

Preliminary release notes for LibUCW 4.1

Main: Updated documentation

Main: file_recalc_list need not be empty upon main_destroy()

Main: Separate debug functions for all types of objects

Main: Proofreading docs

Main: Let main-block use HOOK_RETRY / HOOK_IDLE as suggested by the docs

Main: Add block_io_set_timeout() as promised in the docs

Main: Renamed MFERR_xxx to BIO_ERR_xxx

Main: Update documentation

Needs proof-reading.

Main: Added main_teardown() and main_destroy()

There are now two possibilities how to get rid of a main loop
context. Either you call main_delete(), which is gentle and fails
whenever there are any active files/hooks/etc. Or you call main_destroy(),
which forcibly removes all such objects; it also closes all files.

main_teardown() just calls main_destroy() on the current context,
just as main_cleanup() calls main_delete().

Also, file_close_all() is no longer available -- the only known use
cases are after fork(), but closing files is no longer sufficient
there. All calls to file_close_all() should be therefore replaced
by main_teardown().

Main: Internal operations on non-current contexts

Introduced an (internal) *_ctx() variant of several functions, working
on an explicit context which need not be current.

Changed main_delete(), so that it does not make the context temporarily
current.

Main: Tests now include main_cleanup()

Main: Plugged memory leaks of internal structures

Main: main_delete() must make the soon-to-be-deleted context current

Otherwise, it might call signal_del() and file_del() on another
(or even undefined) context.

Main: Moved testing code to a separate file

Main: Fixed a bug in looping over files that need not exist any longer

Main: Update copyrights and remove debug dumps

libcharset: Added missing picsuffix to libcharset.pc.

hashtable: Bugfix.

Simplified stdupping of NULL strings.

hashtable: Updated docs.

hashtable: Corrections.

hashtable: More options about memory management.

hashtable: Documented HASH_TABLE_VARS.

hashtable: Implemented new HASH_TABLE_VARS parameter.

hashtable: Only fixed whitespace.

Threads: The master mutex was not initialized in some cases

Main: No more calls to GARY_SIZE on an empty timer array

UCW::Configure::C: de-reference CPU_ARCH in COPT

Originally, when CONFIG_EXACT_CPU was enabled, COPT contained `-march=$(CPU_ARCH)',
which worked when it was used in a Makefile, but not when doing a test
compile in the configure script.

I changed it to dereference the variable immediately.

Added a clean way for building of static PIC libraries

Defining CONFIG_STATIC_PIC adds a dependency on *-pic.a
to every pkg-config file. In addition to that, the .pc
files now contain a "picsuffix" variable which can be
overridden by the user to enable the PIC mode.

UCW::CGI: Fixed a regression in processing of multiple controls with the same name

Added a script for checking different configurations of LibUCW

Adapted from Sherlock's check-customs.

UCW: Document CONFIG_UCW_EPOLL

Main: Optimize calls to epoll_ctl()

It often happens that a file callback is removed and then reinstated
again before the next main loop iteration (e.g., on a boundary between
two blocks if block_io is used). This caused lots of unnecessary
calls to epoll_ctl().

We now put all files on which file_chg() was called to a separate list
and just before we call epoll_wait(), we process this list and check
which files have changed their event mask since the last iteration.

Main: Unified support for poll and epoll

When the epoll mechanism is available in the system library, use it.

Rewritten processing of file events: when (e)poll completes, all pending
events are scanned and the corresponding files are relinked to another
list. Then this list is processed entry by entry and callbacks are
performed. When file_add() or file_del() is requested from the callback
function, the file is just relinked to the main file_list and the worst
thing which can happen is that an event will be postponed to the next
iteration of the main loop.

To achieve this, I had to decouple the order of entries in the poll_table
from the order of files in the file_list by introducing an auxiliary
array of pointers mapping poll_table entries to file structs.

All tricks with stopping the event scanning loop when poll_table_obsolete
becomes set are gone.

Main: Poll table turned into a growing array

Main: Use a placeholder item to make the signal handler list safe

Main: Single out processing of timers and hooks

Main: Use clist_is_linked() and friends

Clists have gained ability to recognize unlinked nodes

Main: Split off block I/O

Block-based I/O is no longer hard-wired in the mainloop itself,
it became a separate module built on the top of main_file. While the
timer embedded in main_block_io is somewhat illogical, I have decided
to keep it to make porting of old code easier.

I plan to add another I/O layer in the future, which will handle
more complex buffering capable of reading lines and other variable-size
data structures.

Main: Implemented safe delivery of signals

The current implementation passes the signals through a pipe,
I plan to add signalfd() later.

SIGCHLD handling became the first user of the new signal mechanism.
However, situations in which multiple threads spawn processes using
separate main loops are not supported (we must have a single SIGCHLD
handler for the whole process).

Main: Test re-adding of timers

Main: Added timer_add_rel()

Main: Remember to free the poll table

Main: The main loop now keeps per-thread context

Receiving of SIGCHLD is not thread-safe yet, but it will be replaced
by a more general mechanism for receiving signals soon anyway.

Added a test configuration for debugging

UCW::CGI: No deescaping should be applied to multipart/www-data

UCW::CGI: Bug fixes

UCW::CGI: html_escape() should escape single quotes, too

UCW::CGI: Support multiple argument tables

(1) parse_args() can be called multiple times with different
    argument tables, so that different parts of a single script
    can fetch their own arguments without cluttering the main
    argument table. The only catch is that uploaded files must
    be defined in the main argument table (i.e., the first one used).

(2) self_ref() and self_form() accepts optional argument tables
    which are merged to the main one.

Growing arrays: GARY_RESIZE and GARY_INIT_OR_RESIZE

GARY_SET_SIZE renamed to GARY_RESIZE, added GARY_INIT_OR_RESIZE.

Growing arrays: GARY_FREE(NULL) does nothing

.gitignore: ignore Vim swap files, too

Implemented a new growing array module

Instead of gbuf/bbuf, it supports arbitrary types without having
to instantiate the data structure for every type.

Will add some documentation later.

Minor fixes to strtonum.
  * Removed nested function from strtonum-gen.h .
  * Error messages are not saved in separate static variables.
  * Octal numbers can be detected by prefix '0[0-7]...' (this feature is enabled by STN_OCT0).
  * One-command blocks are not enclosed by { ... } .
  * STN_ZCHAR renamed to STN_WHOLE.

Configure: Improved TestCompile, so that the temporary files can be kept

UCW: Adapted to use ucw_thread_id()

Use thread-local storage of GCC 4.x

ucw/threads.c can now work in three different modes:

   o  non-threaded
   o  threaded with context in pthread per-thread storage
   o  threaded with context stored as __thread

I had to make a backward-incompatible change: ucwlib_context->thread_id
is no longer accessible directly (because I do not know of any way how
to initialize it in the __thread mode) and a wrapper function should
be used.

Configure: Implemented running of test programs

Configure: Better reporting of test results

Test() now reports preset values differently from auto-detected ones.

Added TestBool() which translates 1->yes and 0->no in log messages.

strtonum: GCC roared that a prototype is missing, hmm...

Logger: Shut up re-initialization warning of GCC 4.3

Build: libshxml compiles

Removed doc/conf*, they have been superseded by ucw/doc/conf*.

A partial build system

Compiles everything except for libshxml.

Get rid of SHERLOCK_VERSION and use UCW_VERSION everywhere

Cleanup: Moved config files to etc/

Added .gitignore

Charset: imported cs2cs from Sherlock, does not compile yet

Imported doc/config{,ure} from Sherlock

Cleanup: Moved libshxml to shxml/

Cleanup: Moved sorter debugging tools to ucw/sorter/debug/

Cleanup: Fixed comment

Cleanup: Fixed comments in config files

Cleanup: Removed build/installer

It was specific for Sherlock.

UCW: Cosmetic cleanups of strtonum

libucw: Fixed infinite recursion in str_to_int().

mainloop: Small fixes in hooks.

mainloop: Optimized heaps in timers.

mainloop: Rewritten timers from clist to heap.

mainloop: Improved deletion and insertion of hooks.

It is now guaranted that:
* You can safely remove hook anytime, even from other hook.
* Newly inserted hook will be called at least once before next sleep.

mainloop: Fixed possible infinite timeouts.

Fixed a typo in the list of includes. Has anybody compiled the full tree recently? ;)

Typo.

strtonum: Fixed minor errors.
  * Removed declarations of undefined conversion functions.
  * Added inline conversion functions for signed integers.
  * Moved branche for checking whether number is terminated by 0 character.

Added functions for conversions from string to uns or uintmax_t .

libucw: Implemented Loging.Stream.FileDesc.

UCW::CGI -- fixed a bug in parsing of boundaries

Interpolating user-supplied strings inside regular expressions in unsafe, even
if /\Q...\E/ were used.

In this case, it fails when Webkit-based browsers send boundary strings
containing "+" characters.