]> mj.ucw.cz Git - saga.git/blob - adv.tex
Minor improvements.
[saga.git] / adv.tex
1 \ifx\endpart\undefined
2 \input macros.tex
3 \fi
4
5 \chapter{Advanced MST Algorithms}
6
7 \section{Minor-closed graph classes}\id{minorclosed}%
8
9 The contractive algorithm given in section~\ref{contalg} has been found to perform
10 well on planar graphs, but in the general case its time complexity was not linear.
11 Can we find any broader class of graphs where the algorithm is still efficient?
12 The right context turns out to be the minor-closed graph classes, which are
13 closed under contractions and have bounded density.
14
15 \defn\id{minordef}%
16 A~graph~$H$ is a \df{minor} of a~graph~$G$ (written as $H\minorof G$) iff it can be obtained
17 from a~subgraph of~$G$ by a sequence of simple graph contractions (see \ref{simpcont}).
18
19 \defn
20 A~class~$\cal C$ of graphs is \df{minor-closed}, when for every $G\in\cal C$ and
21 its every minor~$H$, the graph~$H$ lies in~$\cal C$ as well. A~class~$\cal C$ is called
22 \df{non-trivial} if at least one graph lies in~$\cal C$ and at least one lies outside~$\cal C$.
23
24 \example
25 Non-trivial minor-closed classes include:
26 \itemize\ibull
27 \:planar graphs,
28 \:graphs embeddable in any fixed surface (i.e., graphs of bounded genus),
29 \:graphs embeddable in~${\bb R}^3$ without knots or without interlocking cycles,
30 \:graphs of bounded tree-width or path-width.
31 \endlist
32
33 \para
34 Many of the nice structural properties of planar graphs extend to
35 minor-closed classes, too (see \cite{lovasz:minors} for a~nice survey
36 of this theory and \cite{diestel:gt} for some of the deeper results).
37 The most important property is probably the characterization
38 of such classes in terms of their forbidden minors.
39
40 \defn
41 For a~class~$\cal H$ of graphs we define $\Forb({\cal H})$ as the class
42 of graphs that do not contain any of the graphs in~$\cal H$ as a~minor.
43 We will call $\cal H$ the set of \df{forbidden (or excluded) minors} for this class.
44 We will often abbreviate $\Forb(\{M_1,\ldots,M_n\})$ to $\Forb(M_1,\ldots,M_n)$.
45
46 \obs
47 For every~${\cal H}\ne\emptyset$, the class $\Forb({\cal H})$ is non-trivial
48 and closed on minors. This works in the opposite direction as well: for every
49 minor-closed class~$\cal C$ there is a~class $\cal H$ such that ${\cal C}=\Forb({\cal H})$.
50 One such~$\cal H$ is the complement of~$\cal C$, but smaller ones can be found, too.
51 For example, the planar graphs can be equivalently described as the class $\Forb(K_5, K_{3,3})$
52 --- this follows from the Kuratowski's theorem (the theorem speaks of forbidden
53 subdivisions, but while in general this is not the same as forbidden minors, it
54 is for $K_5$ and $K_{3,3}$). The celebrated theorem by Robertson and Seymour
55 guarantees that we can always find a~finite set of forbidden minors.
56
57 \thmn{Excluded minors, Robertson \& Seymour \cite{rs:wagner}}
58 For every non-trivial minor-closed graph class~$\cal C$ there exists
59 a~finite set~$\cal H$ of graphs such that ${\cal C}=\Forb({\cal H})$.
60
61 \proof
62 This theorem has been proven in a~long series of papers on graph minors
63 culminating with~\cite{rs:wagner}. See this paper and follow the references
64 to the previous articles in the series.
65 \qed
66
67 \para
68 For analysis of the contractive algorithm,
69 we will make use of another important property --- the bounded density of
70 minor-closed classes. The connection between minors and density dates back to
71 Mader in the 1960's and it can be proven without use of the Robertson-Seymour
72 theorem.
73
74 \defn\id{density}%
75 Let $\cal C$ be a class of graphs. We define its \df{edge density} $\varrho(\cal C)$
76 to be the infimum of all~$\varrho$'s such that $m(G) \le \varrho\cdot n(G)$
77 holds for every $G\in\cal C$.
78
79 \thmn{Mader \cite{mader:dens}}
80 For every $k\in{\bb N}$ there exists $h(k)\in{\bb R}$ such that every graph
81 of average degree at least~$h(k)$ contains a~subdivision of~$K_{k}$ as a~subgraph.
82
83 \proofsketch
84 (See Lemma 3.5.1 in \cite{diestel:gt} for a~complete proof in English.)
85
86 Let us fix~$k$ and prove by induction on~$m$ that every graph of average
87 degree at least~$2^m$ contains a~subdivision of some graph with $k$~vertices
88 and ${k\choose 2}\ge m\ge k$~edges. For $m={k\choose 2}$ the theorem follows
89 as the only graph with~$k$ vertices and~$k\choose 2$ edges is~$K_k$.
90
91 The base case $m=k$: Let us observe that when the average degree
92 is~$a$, removing any vertex of degree less than~$a/2$ does not decrease the
93 average degree. A~graph with $a\ge 2^k$ therefore has a~subgraph
94 with minimum degree $\delta\ge a/2=2^{k-1}$. Such subgraph contains
95 a~cycle on more than~$\delta$ vertices, in other words a~subdivision of
96 the cycle~$C_k$.
97
98 Induction step: Let~$G$ be a~graph with average degree at least~$2^m$ and
99 assume that the theorem already holds for $m-1$. Without loss of generality,
100 $G$~is connected. Consider a~maximal set $U\subseteq V$ such that the subgraph $G[U]$
101 induced by~$U$ is connected and the graph $G.U$ ($G$~with $U$~contracted to
102 a~single vertex) has average degree at least~$2^m$ (such~$U$ exists, because
103 $G=G.U$ whenever $\vert U\vert=1$). Now consider the subgraph~$H$ induced
104 in~$G$ by the neighbors of~$U$. Every $v\in V(H)$ must have $\deg_H(v) \ge 2^{m-1}$,
105 as otherwise we can add this vertex to~$U$, contradicting its
106 maximality. By the induction hypothesis, $H$ contains a~subdivision of some
107 graph~$R$ with $r$~vertices and $m-1$ edges. Any two non-adjacent vertices
108 of~$R$ can be connected in the subdivision by a~path lying entirely in~$G[U]$,
109 which reveals a~subdivision of a~graph with $m$~edges. \qed
110
111 \thmn{Density of minor-closed classes, Mader~\cite{mader:dens}}
112 Every non-trivial minor-closed class of graphs has finite edge density.
113
114 \proof
115 Let~$\cal C$ be any such class, $X$~its smallest excluded minor and $x=n(X)$.
116 As $H\minorof K_x$, the class $\cal C$ entirely lies in ${\cal C}'=\Forb(K_x)$, so
117 $\varrho({\cal C}) \le \varrho({\cal C}')$ and therefore it suffices to prove the
118 theorem for classes excluding a~single complete graph~$K_x$.
119
120 We will show that $\varrho({\cal C})\le 2h(x)$, where $h$~is the function
121 from the previous theorem. If any $G\in{\cal C}$ had more than $2h(x)\cdot n(G)$
122 edges, its average degree would be at least~$h(x)$, so by the previous theorem
123 $G$~would contain a~subdivision of~$K_x$ and hence $K_x$ as a~minor.
124 \qed
125
126 \rem
127 Minor-closed classes share many other interesting properties, for example bounded chromatic
128 numbers of various kinds, as shown by Theorem 6.1 of \cite{nesetril:minors}.
129
130 Let us return to the analysis of our algorithm.
131
132 \thmn{MST on minor-closed classes \cite{mm:mst}}\id{mstmcc}%
133 For any fixed non-trivial minor-closed class~$\cal C$ of graphs, the Contractive Bor\o{u}vka's
134 algorithm (\ref{contbor}) finds the MST of any graph of this class in time
135 $\O(n)$. (The constant hidden in the~$\O$ depends on the class.)
136
137 \proof
138 Following the proof for planar graphs (\ref{planarbor}), we denote the graph considered
139 by the algorithm at the beginning of the $i$-th iteration by~$G_i$ and its number of vertices
140 and edges by $n_i$ and $m_i$ respectively. Again the $i$-th phase runs in time $\O(m_i)$
141 and $n_i \le n/2^i$, so it remains to show a linear bound for the $m_i$'s.
142
143 Since each $G_i$ is produced from~$G_{i-1}$ by a sequence of edge contractions,
144 all $G_i$'s are minors of~$G$.\foot{Technically, these are multigraph contractions,
145 but followed by flattening, so they are equivalent to contractions on simple graphs.}
146 So they also belong to~$\cal C$ and by the previous theorem $m_i\le \varrho({\cal C})\cdot n_i$.
147 \qed
148
149 \paran{Local contractions}\id{nobatch}%
150 The contractive algorithm uses ``batch processing'' to perform many contractions
151 in a single step. It is also possible to perform contractions one edge at a~time,
152 batching only the flattenings. A~contraction of an edge~$uv$ can be done
153 in time~$\O(\deg(u))$ by removing all edges incident with~$u$ and inserting them back
154 with $u$ replaced by~$v$. Therefore we need to find a lot of vertices with small
155 degrees. The following lemma shows that this is always the case in minor-closed
156 classes.
157
158 \lemman{Low-degree vertices}\id{lowdeg}%
159 Let $\cal C$ be a graph class with density~$\varrho$ and $G\in\cal C$ a~graph
160 with $n$~vertices. Then at least $n/2$ vertices of~$G$ have degree at most~$4\varrho$.
161
162 \proof
163 Assume the contrary: Let there be at least $n/2$ vertices with degree
164 greater than~$4\varrho$.  Then $\sum_v \deg(v) > n/2
165 \cdot 4\varrho = 2\varrho n$, which is in contradiction with the number
166 of edges being at most $\varrho n$.
167 \qed
168
169 \rem
170 The proof can be also viewed
171 probabilistically: let $X$ be the degree of a vertex of~$G$ chosen uniformly at
172 random. Then $\E X \le 2\varrho$, hence by the Markov's inequality
173 ${\rm Pr}[X > 4\varrho] < 1/2$, so for at least $n/2$ vertices~$v$ we have
174 $\deg(v)\le 4\varrho$.
175
176 \algn{Local Bor\o{u}vka's Algorithm, Mare\v{s} \cite{mm:mst}}%
177 \algo
178 \algin A~graph~$G$ with an edge comparison oracle and a~parameter~$t\in{\bb N}$.
179 \:$T\=\emptyset$.
180 \:$\ell(e)\=e$ for all edges~$e$.
181 \:While $n(G)>1$:
182 \::While there exists a~vertex~$v$ such that $\deg(v)\le t$:
183 \:::Select the lightest edge~$e$ incident with~$v$.
184 \:::Contract~$G$ along~$e$.
185 \:::$T\=T + \ell(e)$.
186 \::Flatten $G$, removing parallel edges and loops.
187 \algout Minimum spanning tree~$T$.
188 \endalgo
189
190 \thm
191 When $\cal C$ is a minor-closed class of graphs with density~$\varrho$, the
192 Local Bor\o{u}vka's Algorithm with the parameter~$t$ set to~$4\varrho$ 
193 finds the MST of any graph from this class in time $\O(n)$. (The constant
194 in the~$\O$ depends on~the class.)
195
196 \proof
197 Let us denote by $G_i$, $n_i$ and $m_i$ the graph considered by the
198 algorithm at the beginning of the $i$-th iteration of the outer loop,
199 and the number of its vertices and edges respectively. As in the proof
200 of the previous algorithm (\ref{mstmcc}), we observe that all the $G_i$'s
201 are minors of the graph~$G$ given as the input.
202
203 For the choice $t=4\varrho$, the Lemma on low-degree vertices (\ref{lowdeg})
204 guarantees that at the beginning of the $i$-th iteration, at least $n_i/2$ vertices
205 have degree at most~$t$. Each selected edge removes one such vertex and
206 possibly increases the degree of another, so at least $n_i/4$ edges get selected.
207 Hence $n_i\le 3/4\cdot n_{i-1}$ and therefore $n_i\le n\cdot (3/4)^i$ and the
208 algorithm terminates after $\O(\log n)$ iterations.
209
210 Each selected edge belongs to $\mst(G)$, because it is the lightest edge of
211 the trivial cut $\delta(v)$ (see the Blue rule, Lemma \ref{rbma}).
212 The steps 6 and~7 therefore correspond to the operation
213 described by the Contraction Lemma (\ref{contlemma}) and when
214 the algorithm stops, $T$~is indeed the minimum spanning tree.
215
216 It remains to analyse the time complexity of the algorithm. Since $G_i\in{\cal C}$, we have
217 $m_i\le \varrho n_i \le \varrho n/2^i$.
218 We will show that the $i$-th iteration is carried out in time $\O(m_i)$.
219 Steps 5 and~6 run in time $\O(\deg(v))=\O(t)$ for each~$v$, so summed
220 over all $v$'s they take $\O(tn_i)$, which is linear for a fixed class~$\cal C$.
221 Flattening takes $\O(m_i)$, as already noted in the analysis of the Contracting
222 Bor\o{u}vka's Algorithm (see \ref{contiter}).
223
224 The whole algorithm therefore runs in time $\O(\sum_i m_i) = \O(\sum_i n/2^i) = \O(n)$.
225 \qed
226
227 \paran{Back to planar graphs}%
228 For planar graphs, we can get a sharper version of the low-degree lemma,
229 showing that the algorithm works with $t=8$ as well (we had $t=12$ as
230 $\varrho=3$). While this does not change the asymptotic time complexity
231 of the algorithm, the constant-factor speedup can still delight the hearts of
232 its practical users.
233
234 \lemman{Low-degree vertices in planar graphs}%
235 Let $G$ be a planar graph with $n$~vertices. Then at least $n/2$ vertices of~$v$
236 have degree at most~8.
237
238 \proof
239 It suffices to show that the lemma holds for triangulations (if there
240 are any edges missing, the situation can only get better) with at
241 least 3 vertices. Since $G$ is planar, $\sum_v \deg(v) < 6n$.
242 The numbers $d(v):=\deg(v)-3$ are non-negative and $\sum_v d(v) < 3n$,
243 so by the same argument as in the proof of the general lemma, for at least $n/2$
244 vertices~$v$ it holds that $d(v) < 6$, hence $\deg(v) \le 8$.
245 \qed
246
247 \rem\id{hexa}%
248 The constant~8 in the previous lemma is the best we can have.
249 Consider a $k\times k$ triangular grid. It has $n=k^2$ vertices, $\O(k)$ of them
250 lie on the outer face and have degrees at most~6, the remaining $n-\O(k)$ interior
251 vertices have degree exactly~6. Therefore the number of faces~$f$ is $6/3\cdot n=2n$,
252 ignoring terms of order $\O(k)$. All interior triangles can be properly colored with
253 two colors, black and white. Now add a~new vertex inside each white face and connect
254 it to all three vertices on the boundary of that face. This adds $f/2 \approx n$
255 vertices of degree~3 and it increases the degrees of the original $\approx n$ interior
256 vertices to~9, therefore about a half of the vertices of the new planar graph
257 has degree~9.
258
259 \figure{hexangle.eps}{\epsfxsize}{The construction from Remark~\ref{hexa}}
260
261 \rem
262 The observation in~Theorem~\ref{mstmcc} was also independently made by Gustedt in~\cite{gustedt:parallel}
263 who studied a~parallel version of the contractive Bor\o{u}vka's algorithm applied
264 to minor-closed classes.
265
266 %--------------------------------------------------------------------------------
267
268 \section{Iterated algorithms}\id{iteralg}%
269
270 We have seen that the Jarn\'\i{}k's Algorithm \ref{jarnik} runs in $\Theta(m\log n)$ time.
271 Fredman and Tarjan have shown a~faster implementation in~\cite{ft:fibonacci}
272 using their Fibonacci heaps. In this section, we convey their results and we
273 show several interesting consequences.
274
275 The previous implementation of the algorithm used a binary heap to store all edges
276 separating the current tree~$T$ from the rest of the graph, i.e., edges of the cut~$\delta(T)$.
277 Instead of that, we will remember the vertices adjacent to~$T$ and for each such vertex~$v$ we
278 will maintain the lightest edge~$uv$ such that $u$~lies in~$T$. We will call these edges \df{active edges}
279 and keep them in a~Fibonacci heap, ordered by weight.
280
281 When we want to extend~$T$ by the lightest edge of~$\delta(T)$, it is sufficient to
282 find the lightest active edge~$uv$ and add this edge to~$T$ together with the new vertex~$v$.
283 Then we have to update the active edges as follows. The edge~$uv$ has just ceased to
284 be active. We scan all neighbors~$w$ of the vertex~$v$. When $w$~is in~$T$, no action
285 is needed. If $w$~is outside~$T$ and it was not adjacent to~$T$ (there is no active edge
286 remembered for it so far), we set the edge~$vw$ as active. Otherwise we check the existing
287 active edge for~$w$ and replace it by~$vw$ if the new edge is lighter.
288
289 The following algorithm shows how these operations translate to insertions, decreases
290 and deletions on the heap.
291
292 \algn{Active Edge Jarn\'\i{}k; Fredman and Tarjan \cite{ft:fibonacci}}\id{jarniktwo}%
293 \algo
294 \algin A~graph~$G$ with an edge comparison oracle.
295 \:$v_0\=$ an~arbitrary vertex of~$G$.
296 \:$T\=$ a tree containing just the vertex~$v_0$.
297 \:$H\=$ a~Fibonacci heap of active edges stored as pairs $(u,v)$ where $u\in T,v\not\in T$, ordered by the weights $w(uv)$, initially empty.
298 \:$A\=$ a~mapping of vertices outside~$T$ to their active edges in the heap; initially all elements undefined.
299 \:\<Insert> all edges incident with~$v_0$ to~$H$ and update~$A$ accordingly.
300 \:While $H$ is not empty:
301 \::$(u,v)\=\<DeleteMin>(H)$.
302 \::$T\=T+uv$.
303 \::For all edges $vw$ such that $w\not\in T$:
304 \:::If there exists an~active edge~$A(w)$:
305 \::::If $vw$ is lighter than~$A(w)$, \<Decrease> $A(w)$ to~$(v,w)$ in~$H$.
306 \:::If there is no such edge, then \<Insert> $(v,w)$ to~$H$ and set~$A(w)$.
307 \algout Minimum spanning tree~$T$.
308 \endalgo
309
310 \para
311 To analyze the time complexity of this algorithm, we will use the standard
312 theorem on~complexity of the Fibonacci heap:
313
314 \thmn{Fibonacci heaps, Fredman and Tarjan \cite{ft:fibonacci}} The~Fibonacci heap performs the following operations
315 with the indicated amortized time complexities:
316 \itemize\ibull
317 \:\<Insert> (insertion of a~new element) in $\O(1)$,
318 \:\<Decrease> (decreasing value of an~existing element) in $\O(1)$,
319 \:\<Merge> (merging of two heaps into one) in $\O(1)$,
320 \:\<DeleteMin> (deletion of the minimal element) in $\O(\log n)$,
321 \:\<Delete> (deletion of an~arbitrary element) in $\O(\log n)$,
322 \endlist
323 \>where $n$ is the number of elements present in the heap at the time of
324 the operation.
325
326 \proof
327 See Fredman and Tarjan \cite{ft:fibonacci} for both the description of the Fibonacci
328 heap and the proof of this theorem.
329 \qed
330
331 \thm
332 Algorithm~\ref{jarniktwo} with the Fibonacci heap finds the MST of the input graph in time~$\O(m+n\log n)$.
333
334 \proof
335 The algorithm always stops, because every edge enters the heap~$H$ at most once.
336 As it selects exactly the same edges as the original Jarn\'\i{}k's algorithm,
337 it gives the correct answer.
338
339 The time complexity is $\O(m)$ plus the cost of the heap operations. The algorithm
340 performs at most one \<Insert> or \<Decrease> per edge and exactly one \<DeleteMin>
341 per vertex. There are at most $n$ elements in the heap at any given time,
342 thus by the previous theorem the operations take $\O(m+n\log n)$ time in total.
343 \qed
344
345 \cor
346 For graphs with edge density at least $\log n$, this algorithm runs in linear time.
347
348 \remn{Other heaps}%
349 We can consider using other kinds of heaps that have the property that inserts
350 and decreases are faster than deletes. Of course, the Fibonacci heaps are asymptotically
351 optimal (by the standard $\Omega(n\log n)$ lower bound on sorting by comparisons, see
352 for example \cite{clrs}), so the other data structures can improve only
353 multiplicative constants or offer an~easier implementation.
354
355 A~nice example is a~\df{$d$-regular heap} --- a~variant of the usual binary heap
356 in the form of a~complete $d$-regular tree. \<Insert>, \<Decrease> and other operations
357 involving bubbling the values up spend $\O(1)$ time at a~single level, so they run
358 in~$\O(\log_d n)$ time. \<Delete> and \<DeleteMin> require bubbling down, which incurs
359 comparison with all~$d$ sons at every level, so they spend $\O(d\log_d n)$.
360 With this structure, the time complexity of the whole algorithm
361 is $\O(nd\log_d n + m\log_d n)$, which suggests setting $d=m/n$, yielding $\O(m\log_{m/n}n)$.
362 This is still linear for graphs with density at~least~$n^{1+\varepsilon}$.
363
364 Another possibility is to use the 2-3-heaps \cite{takaoka:twothree} or Trinomial
365 heaps \cite{takaoka:trinomial}. Both have the same asymptotic complexity as Fibonacci
366 heaps (the latter even in the worst case, but it does not matter here) and their
367 authors claim faster implementation. For integer weights, we can use Thorup's priority
368 queues described in \cite{thorup:pqsssp} which have constant-time \<Insert> and \<Decrease>
369 and $\O(\log\log n)$ time \<DeleteMin>. (We will however omit the details since we will
370 show a~faster integer algorithm soon.)
371
372 \paran{Combining MST algorithms}%
373 As we already noted, the improved Jarn\'\i{}k's algorithm runs in linear time
374 for sufficiently dense graphs. In some cases, it is useful to combine it with
375 another MST algorithm, which identifies a~part of the MST edges and contracts
376 the graph to increase its density. For example, we can perform several Bor\o{u}vka
377 steps  and find the rest of the MST by the Active Edge Jarn\'\i{}k's algorithm.
378
379 \algn{Mixed Bor\o{u}vka-Jarn\'\i{}k}
380 \algo
381 \algin A~graph~$G$ with an edge comparison oracle.
382 \:Run $\log\log n$ Bor\o{u}vka steps (\ref{contbor}), getting a~MST~$T_1$.
383 \:Run the Active Edge Jarn\'\i{}k's algorithm (\ref{jarniktwo}) on the resulting
384   graph, getting a~MST~$T_2$.
385 \:Combine $T_1$ and~$T_2$ to~$T$ as in the Contraction lemma (\ref{contlemma}).
386 \algout Minimum spanning tree~$T$.
387 \endalgo
388
389 \thm
390 The Mixed Bor\o{u}vka-Jarn\'\i{}k algorithm finds the MST of the input graph in time $\O(m\log\log n)$.
391
392 \proof
393 Correctness follows from the Contraction lemma and from the proofs of correctness of the respective algorithms.
394 As~for time complexity: The first step takes $\O(m\log\log n)$ time
395 (by Lemma~\ref{contiter}) and it gradually contracts~$G$ to a~graph~$G'$ of size
396 $m'\le m$ and $n'\le n/\log n$. The second step then runs in time $\O(m'+n'\log n') = \O(m)$
397 and both trees can be combined in linear time, too.
398 \qed
399
400 \paran{Iterating Jarn\'\i{}k's algorithm}%
401 Actually, there is a~much better choice of the algorithms to combine: use the
402 Active Edge Jarn\'\i{}k's algorithm multiple times, each time stopping after a~while.
403 A~good choice of the stopping condition is to place a~limit on the size of the heap.
404 We start with an~arbitrary vertex, grow the tree as usually and once the heap gets too large,
405 we conserve the current tree and start with a~different vertex and an~empty heap. When this
406 process runs out of vertices, it has identified a~sub-forest of the MST, so we can
407 contract the graph along the edges of~this forest and iterate.
408
409 \algn{Iterated Jarn\'\i{}k; Fredman and Tarjan \cite{ft:fibonacci}}\id{itjar}%
410 \algo
411 \algin A~graph~$G$ with an edge comparison oracle.
412 \:$T\=\emptyset$. \cmt{edges of the MST}
413 \:$\ell(e)\=e$ for all edges~$e$. \cmt{edge labels as usually}
414 \:$m_0\=m$.
415 \:While $n>1$: \cmt{We will call iterations of this loop \df{phases}.}
416 \::$F\=\emptyset$. \cmt{forest built in the current phase}
417 \::$t\=2^{\lceil 2m_0/n \rceil}$. \cmt{the limit on heap size}
418 \::While there is a~vertex $v_0\not\in F$:
419 \:::Run the Active Edge Jarn\'\i{}k's algorithm (\ref{jarniktwo}) from~$v_0$, stop when:
420 \::::all vertices have been processed, or
421 \::::a~vertex of~$F$ has been added to the tree, or
422 \::::the heap has grown to more than~$t$ elements.
423 \:::Denote the resulting tree~$R$.
424 \:::$F\=F\cup R$.
425 \::$T\=T\cup \ell[F]$. \cmt{Remember MST edges found in this phase.}
426 \::Contract~$G$ along all edges of~$F$ and flatten it.
427 \algout Minimum spanning tree~$T$.
428 \endalgo
429
430 \nota
431 For analysis of the algorithm, let us denote the graph entering the $i$-th
432 phase by~$G_i$ and likewise with the other parameters. Let the trees from which
433 $F_i$~has been constructed be called $R_i^1, \ldots, R_i^{z_i}$. The
434 non-indexed $G$, $m$ and~$n$ will correspond to the graph given as~input.
435
436 \para
437 However the choice of the parameter~$t$ can seem mysterious, the following
438 lemma makes the reason clear:
439
440 \lemma\id{ijphase}%
441 The $i$-th phase of the Iterated Jarn\'\i{}k's algorithm runs in time~$\O(m)$.
442
443 \proof
444 During the phase, the heap always contains at most~$t_i$ elements, so it takes
445 time~$\O(\log t_i)=\O(m/n_i)$ to delete an~element from the heap. The trees~$R_i^j$
446 are edge-disjoint, so there are at most~$n_i$ \<DeleteMin>'s over the course of the phase.
447 Each edge is considered at most twice (once per its endpoint), so the number
448 of the other heap operations is~$\O(m_i)$. Together, it equals $\O(m_i + n_i\log t_i) = \O(m_i+m) = \O(m)$.
449 \qed
450
451 \lemma\id{ijsize}%
452 Unless the $i$-th phase is final, the forest~$F_i$ consists of at most $2m_i/t_i$ trees.
453
454 \proof
455 As every edge of~$G_i$ is incident with at most two trees of~$F_i$, it is sufficient
456 to establish that there are at least~$t_i$ edges incident with every such tree, including
457 connecting two vertices of the tree.
458
459 The forest~$F_i$ evolves by additions of the trees~$R_i^j$. Let us consider the possibilities
460 how the algorithm could have stopped growing the tree~$R_i^j$:
461 \itemize\ibull
462 \:the heap had more than~$t_i$ elements (step~10): since the each elements stored in the heap
463   corresponds to a~unique edges incident with~$R_i^j$, we have enough such edges;
464 \:the algorithm just added a~vertex of~$F_i$ to~$R_i^j$ (step~9): in this case, an~existing
465   tree of~$F_i$ is extended, so the number of edges incident with it cannot decrease;\foot{%
466   This is the place where we needed to count the interior edges as well.}
467 \:all vertices have been processed (step~8): this can happen only in the final phase.
468 \qeditem
469 \endlist
470
471 \thm\id{itjarthm}%
472 The Iterated Jarn\'\i{}k's algorithm finds the MST of the input graph in time
473 $\O(m\timesbeta(m,n))$, where $\beta(m,n):=\min\{ i \mid \log^{(i)}n \le m/n \}$.
474
475 \proof
476 Phases are finite and in every phase at least one edge is contracted, so the outer
477 loop is eventually terminated. The resulting subgraph~$T$ is equal to $\mst(G)$, because each $F_i$ is
478 a~subgraph of~$\mst(G_i)$ and the $F_i$'s are glued together according to the Contraction
479 lemma (\ref{contlemma}).
480
481 Let us bound the sizes of the graphs processed in the individual phases. As the vertices
482 of~$G_{i+1}$ correspond to the components of~$F_i$, by the previous lemma $n_{i+1}\le
483 2m_i/t_i$. Then $t_{i+1} = 2^{\lceil 2m/n_{i+1} \rceil} \ge 2^{2m/n_{i+1}} \ge 2^{2m/(2m_i/t_i)} = 2^{(m/m_i)\cdot t_i} \ge 2^{t_i}$,
484 therefore:
485 $$
486 \left. \vcenter{\hbox{$\displaystyle t_i \ge 2^{2^{\scriptstyle 2^{\scriptstyle\rddots^{\scriptstyle m/n}}}} $}}\;\right\}
487 \,\hbox{a~tower of~$i$ exponentials.}
488 $$
489 As soon as~$t_i\ge n$, the $i$-th phase must be final, because at that time
490 there is enough space in the heap to process the whole graph. So~there are
491 at most~$\beta(m,n)$ phases and we already know that each phase runs in linear
492 time (Lemma~\ref{ijphase}).
493 \qed
494
495 \cor
496 The Iterated Jarn\'\i{}k's algorithm runs in time $\O(m\log^* n)$.
497
498 \proof
499 $\beta(m,n) \le \beta(1,n) = \log^* n$.
500 \qed
501
502 \cor\id{ijdens}%
503 When we use the Iterated Jarn\'\i{}k's algorithm on graphs with edge density
504 at least~$\log^{(k)} n$ for some $k\in{\bb N}^+$, it runs in time~$\O(km)$.
505
506 \proof
507 If $m/n \ge \log^{(k)} n$, then $\beta(m,n)\le k$.
508 \qed
509
510 \obs
511 The algorithm spends most of the time in phases which have small heaps. Once the
512 heap grows to $\Omega(\log^{(k)} n)$ for any fixed~$k$, the graph gets dense enough
513 to guarantee that at most~$k$ phases remain. This means that if we are able to
514 construct a~heap of size $\Omega(\log^{(k)} n)$ with constant time per operation,
515 we can get a~linear-time algorithm for MST. This is the case when the weights are
516 integers:
517
518 \thmn{MST for graphs with integer weights, Fredman and Willard \cite{fw:transdich}}\id{intmst}%
519 MST of a~graph with integer edge weights can be found in time $\O(m)$ on the Word-RAM.
520
521 \proof
522 We will combine the Iterated Jarn\'\i{}k's algorithm with the Q-heaps from section \ref{qheaps}.
523 We modify the first pass of the algorithm to choose $t=\log n$ and use the Q-heap tree instead
524 of the Fibonacci heap. From Theorem \ref{qh} and Remark \ref{qhtreerem} we know that the
525 operations on the Q-heap tree run in constant time, so the modified first phase takes time~$\O(m)$.
526 Following the analysis of the original algorithm in the proof of Theorem \ref{itjarthm} we obtain
527 $t_2\ge 2^{t_1} = 2^{\log n} = n$, so the algorithm stops after the second phase.\foot{%
528 Alternatively, we can use the Q-heaps directly with $k=\log^{1/4}n$ and then stop
529 after the third phase.}
530 \qed
531
532 \rem
533 Gabow et al.~\cite{gabow:mst} have shown how to speed up the Iterated Jarn\'\i{}k's algorithm to~$\O(m\log\beta(m,n))$.
534 They split the adjacency lists of the vertices to small buckets, keep each bucket
535 sorted and consider only the lightest edge in each bucket until it is removed.
536 The mechanics of the algorithm is complex and there is a~lot of technical details
537 which need careful handling, so we omit the description of this algorithm.
538 A~better algorithm will be shown in Chapter \ref{optchap}.
539
540 %--------------------------------------------------------------------------------
541
542 \section{Verification of minimality}
543
544 Now we will turn our attention to a~slightly different problem: given a~spanning
545 tree, how to verify that it is minimum? We will show that this can be achieved
546 in linear time and it will serve as a~basis for a~randomized linear-time
547 MST algorithm in Section~\ref{randmst}.
548
549 MST verification has been studied by Koml\'os \cite{komlos:verify}, who has
550 proven that $\O(m)$ edge comparisons are sufficient, but his algorithm needed
551 superlinear time to find the edges to compare. Dixon, Rauch and Tarjan
552 have later shown in \cite{dixon:verify} that the overhead can be reduced
553 to linear time on the RAM using preprocessing and table lookup on small
554 subtrees. Later, King has given a~simpler algorithm in \cite{king:verifytwo}.
555
556 In this section, we will follow Koml\'os's steps and study the comparisons
557 needed, saving the actual efficient implementation for later.
558
559 \para
560 To verify that a~spanning~$T$ is minimum, it is sufficient to check that all
561 edges outside~$T$ are $T$-heavy (by the Minimality Theorem, \ref{mstthm}). In fact, we will be
562 able to find all $T$-light edges efficiently. For each edge $uv\in E\setminus T$,
563 we will find the heaviest edge of the tree path $T[u,v]$ and compare its weight
564 to $w(uv)$. It is therefore sufficient to solve the following problem:
565
566 \problem
567 Given a~weighted tree~$T$ and a~set of \df{query paths} $Q \subseteq \{ T[u,v] \mid u,v\in V(T) \}$
568 specified by their endpoints, find the heaviest edge (\df{peak}) for every path in~$Q$.
569
570 \paran{Bor\o{u}vka trees}%
571 Finding the peaks can be burdensome if the tree~$T$ is degenerated,
572 so we will first reduce it to the same problem on a~balanced tree. We run
573 the Bor\o{u}vka's algorithm on~$T$, which certainly produces $T$ itself, and we
574 record the order in which the subtrees have been merged in another tree~$B(T)$.
575 The peak queries on~$T$ can be then easily translated to peak queries on~$B(T)$.
576
577 \defn
578 For a~weighted tree~$T$ we define its \df{Bor\o{u}vka tree} $B(T)$ as a~rooted tree which records
579 the execution of the Bor\o{u}vka's algorithm run on~$T$. The leaves of $B(T)$
580 are all the vertices of~$T$, an~internal vertex~$v$ at level~$i$ from the bottom
581 corresponds to a~component tree~$C(v)$ formed in the $i$-th phase of the algorithm. When
582 a~tree $C(v)$ selects an adjacent edge~$e$ and gets merged with some other trees to form
583 a~component $C(u)$, we add an~edge $uv$ to~$B(T)$ and set its weight to $w(e)$.
584
585 \figure{bortree.eps}{\epsfxsize}{An octipede and its Bor\o{u}vka tree}
586
587 \obs
588 As the algorithm finishes with a~single component in the last phase, the Bor\o{u}vka tree
589 is really a~tree. All its leaves are on the same level and each internal vertex has
590 at least two sons. Such trees will be called \df{complete branching trees.}
591
592 \lemma
593 For every tree~$T$ and every pair of its vertices $x,y\in V(T)$, the peak
594 of the path $T[x,y]$ has the same weight as the peak of~the path $B(T)[x,y]$.
595
596 \proof
597 Let us denote the path $T[x,y]$ by~$P$ and its heaviest edge by~$h=ab$. Similarly,
598 let us use $P'$ for $B(T)[x,y]$ and $h'$ for the heaviest edge of~$P'$.
599
600 We will first prove that~$h$ has its counterpart of the same weight in~$P'$,
601 so $w(h') \ge w(h)$. Consider the lowest vertex $u$ of~$B(T)$ such that the
602 component $C(u)$ contains both $a$ and~$b$, and consider the sons $v_a$ and $v_b$ of~$u$
603 for which $a\in C(v_a)$ and $b\in C(v_b)$. As the edge~$h$ must have been
604 selected by at least one of these components, we assume without loss of generality that
605 it was $C(v_a)$, and hence we have $w(uv_a)=w(h)$. We will show that the
606 edge~$uv_a$ lies in~$P'$, because exactly one of the endpoints of~$h$ lies
607 in~$C(v_a)$. Both endpoints cannot lie there, since it would imply that $C(v_a)$,
608 being connected, contains the whole path~$P$, including~$h$. On the other hand,
609 if $C(v_a)$ contained neither~$x$ nor~$y$, it would have to be incident with
610 another edge of~$P$ different from~$h$, so this lighter edge would be selected
611 instead of~$h$.
612
613 In the other direction: for any edge~$uv\in P'$, the tree~$C(v)$ is incident
614 with at least one edge of~$P$, so the selected edge must be lighter or equal
615 to this edge and hence also to~$h$.
616 \qed
617
618 \para
619 We will simplify the problem even further: For an~arbitrary tree~$T$, we split each
620 query path $T[x,y]$ to two half-paths $T[x,a]$ and $T[a,y]$ where~$a$ is the
621 \df{lowest common ancestor} of~$x$ and~$y$ in~$T$. It is therefore sufficient to
622 consider only paths that connect a~vertex with one of its ancestors.
623
624 When we combine the two transforms, we get:
625
626 \lemma\id{verbranch}%
627 For each tree~$T$ on $n$~vertices and a~set~$Q$ of $q$~query paths on~$T$, it is possible
628 to find a~complete branching tree~$T'$, together with a~set~$Q'$ of paths on~$T'$,
629 such that the weights of the heaviest edges of the paths in~$Q$ can be deduced from
630 the same of the paths in~$Q'$. The tree $T'$ has at most $2n$ vertices and $\O(\log n)$
631 levels. The set~$Q'$ contains at most~$2q$ paths and each of them connects a~vertex of~$T'$
632 with one of its ancestors. The construction of~$T'$ involves $\O(n)$ comparisons
633 and the transformation of the answers takes $\O(q)$ comparisons.
634
635 \proof
636 The tree~$T'$ will be the Bor\o{u}vka tree for~$T$, obtained by running the
637 contractive version of the Bor\o{u}vka's algorithm (Algorithm \ref{contbor})
638 on~$T$. The algorithm runs in linear time, for example because trees are planar
639 (Theorem \ref{planarbor}). We therefore spend $\O(n)$ comparisons in it.
640
641 As~$T'$ has~$n$ leaves and it is a~complete branching tree, it has at most~$n$ internal vertices,
642 so~$n(T')\le 2n$ as promised. Since the number of iterations of the Bor\o{u}vka's
643 algorithm is $\O(\log n)$, the depth of the Bor\o{u}vka tree must be logarithmic as well.
644
645 For each query path $T[x,y]$ we find the lowest common ancestor of~$x$ and~$y$
646 and split the path by the two half-paths. This produces a~set~$Q'$ of at most~$2q$ half-paths.
647 The peak of every original query path is then the heavier of the peaks of its halves.
648 \qed
649
650 \paran{Bounding comparisons}%
651 We will now describe a~simple variant of the depth-first search which finds the
652 peaks of all query paths of the transformed problem. As we promised,
653 we will take care of the number of comparisons only, as long as all other operations
654 are well-defined and they can be performed in polynomial time.
655
656 \defn
657 For every edge~$e=uv$, we consider the set $Q_e$ of all query paths containing~$e$.
658 The vertex of a~path, which is closer to the root, will be called its \df{top,}
659 the other vertex its \df{bottom.}
660 We define arrays $T_e$ and~$P_e$ as follows: $T_e$ contains
661 the tops of the paths in~$Q_e$ in order of their increasing depth (we
662 will call them \df{active tops} and each of them will be stored exactly once). For
663 each active top~$t=T_e[i]$, we define $P_e[i]$ as the peak of the path $T[v,t]$.
664
665 \obs
666 As for every~$i$ the path $T[v,T_e[i+1]]$ is contained within $T[v,T_e[i]]$,
667 the edges of~$P_e$ must have non-increasing weights, that is $w(P_e[i+1]) \le
668 w(P_e[i])$.
669
670 \alg $\<FindPeaks>(u,p,T_p,P_p)$ --- process all queries in the subtree rooted
671 at~$u$ entered from its parent via an~edge~$p$.
672 \id{findpeaks}
673
674 \algo
675 \:Process all query paths whose bottom is~$u$ and record their peaks.
676 This is accomplished by finding the index~$i$ of each path's top in~$T_p$ and reading
677 the desired edge from~$P_p[i]$.
678
679 \:For every son~$v$ of~$u$, process the edge $e=uv$:
680
681 \::Construct the array of tops~$T_e$ for the edge~$e$: Start with~$T_p$, remove
682    the tops of the paths that do not contain~$e$ and add the vertex~$u$ itself
683    if there is a~query path which has~$u$ as its top and which has bottom somewhere
684    in the subtree rooted at~$v$.
685
686 \::Prepare the array of the peaks~$P_e$: Start with~$P_p$, remove the entries
687    corresponding to the tops that are no longer active. If $u$ became an~active
688    top, append~$e$ to the array.
689
690 \::Finish~$P_e$:
691    Since the paths leading to all active tops have been extended by the
692    edge~$e$, compare $w(e)$ with weights of the edges recorded in~$P_e$ and replace
693    those edges which are lighter by~$e$.
694    Since $P_p$ was sorted, we can use binary search
695    to locate the boundary between lighter and heavier edges in~$P_e$.
696
697 \::Recurse on~$v$: call $\<FindPeaks>(v,e,T_e,P_e)$.
698 \endalgo
699
700 \>As we need a~parent edge to start the recursion, we add an~imaginary parent
701 edge~$p_0$ of the root vertex~$r$, for which no queries are defined. We can
702 therefore start with $\<FindPeaks>(r,p_0,\emptyset,\emptyset)$.
703
704 Let us account for the comparisons:
705
706 \lemma\id{vercompares}%
707 When the procedure \<FindPeaks> is called on the transformed problem, it
708 performs $\O(n+q)$ comparisons, where $n$ is the size of the tree and
709 $q$ is the number of query paths.
710
711 \proof
712 We will calculate the number of comparisons~$c_i$ performed when processing the edges
713 going from the $(i+1)$-th to the $i$-th level of the tree.
714 The levels are numbered from the bottom, so leaves are at level~0 and the root
715 is at level $\ell\le \lceil \log_2 n\rceil$. There are $n_i\le n/2^i$ vertices
716 at the $i$-th level, so we consider exactly $n_i$ edges. To avoid taking a~logarithm
717 of zero, we define $\vert T_e\vert=1$ for $T_e=\emptyset$.
718 \def\eqalign#1{\null\,\vcenter{\openup\jot
719   \ialign{\strut\hfil$\displaystyle{##}$&$\displaystyle{{}##}$\hfil
720       \crcr#1\crcr}}\,}
721 $$\vcenter{\openup\jot\halign{\strut\hfil $\displaystyle{#}$&$\displaystyle{{}#}$\hfil&\quad#\hfil\cr
722 c_i &\le \sum_e \left( 1 + \log \vert T_e\vert \right)&(Total cost of the binary searches.)\cr
723     &\le n_i + \sum_e \log\vert T_e\vert&(We sum over $n_i$ edges.)\cr
724     &\le n_i + n_i \cdot {\sum_e \log\vert T_e\vert \over n_i}&(Consider the average of logarithms.) \cr
725     &\le n_i + n_i \cdot \log{\sum_e \vert T_e\vert \over n_i}&(Logarithm is concave.) \cr
726     &\le n_i + n_i \cdot \log{q+n\over n_i}&(Bound the number of tops by queries.) \cr
727     &= n_i \cdot \left( 1 + \log\left({q+n\over n}\cdot{n\over n_i}\right) \right)\cr
728     &= n_i + n_i\log{q+n\over n} + n_i\log{n\over n_i}.\cr
729 }}$$
730 Summing over all levels, we estimate the total number of comparisons as:
731 $$
732 c = \sum_i c_i = \left( \sum_i n_i \right) + \left( \sum_i n_i \log{q+n\over n}\right) + \left( \sum_i n_i \log{n\over n_i}\right).
733 $$
734 The first part is equal to~$n$, the second one to $n\log((q+n)/n)\le q+n$. For the third
735 one, we would like to plug in the bound $n_i \le n/2^i$, but we unfortunately have one~$n_i$
736 in the denominator. We save the situation by observing that the function $f(x)=x\log(n/x)$
737 is decreasing\foot{We can easily check the derivative: $f(x)=(x\ln n-x\ln x)/\ln 2$, so $f'(x)\cdot \ln2 =
738 \ln n - \ln x - 1$. We want $f'(x)<0$ and therefore $\ln x > \ln n - 1$, i.e., $x > n/e$.}
739 for $x > n/e$, so for $i\ge 2$ it holds that:
740 $$
741 n_i\log{n\over n_i} \le {n\over 2^i}\cdot\log{n\over n/2^i} = {n\over 2^i} \cdot i.
742 $$
743 We can therefore rewrite the third part as:
744 $$\eqalign{
745 \sum_i n_i\log{n\over n_i} &\le n_0\log{n\over n_0} + n_1\log{n\over n_1} + n\cdot\sum_{i\ge 2}{i\over 2^i} \le\cr
746 &\le n\log1 + n_1\cdot {n\over n_1} + n\cdot\O(1) = \O(n).\cr
747 }$$
748 Putting all three parts together, we conclude that:
749 $$
750 c \le n + (q+n) + \O(n) = \O(n+q). \qedmath
751 $$
752
753 \para
754 When we combine this lemma with the above reduction, we get the following theorem:
755
756 \thmn{Verification of the MST, Koml\'os \cite{komlos:verify}}\id{verify}%
757 For every weighted graph~$G$ and its spanning tree~$T$, it is sufficient to
758 perform $\O(m)$ comparisons of edge weights to determine whether~$T$ is minimum
759 and to find all $T$-light edges in~$G$.
760
761 \proof
762 We first transform the problem to finding all peaks of a~set
763 of query paths in~$T$ (these are exactly the paths covered by the edges
764 of $G\setminus T$). We use the reduction from Lemma \ref{verbranch} to get
765 an~equivalent problem with a~full branching tree and a~set of parent-descendant
766 paths. The reduction costs $\O(m+n)$ comparisons.
767 Then we run the \<FindPeaks> procedure (Algorithm \ref{findpeaks}) to find
768 the tops of all query paths. According to Lemma \ref{vercompares}, this spends another $\O(m+n)$
769 comparisons. Since we (as always) assume that~$G$ is connected, $\O(m+n)=\O(m)$.
770 \qed
771
772 \rem
773 The problem of computing path maxima or minima in a~weighted tree has several other interesting
774 applications. One of them is computing minimum cuts separating given pairs of vertices in a~given
775 weighted undirected graph~$G$. We construct a~Gomory-Hu tree~$T$ for the graph as described in \cite{gomoryhu}
776 (see also \cite{bhalgat:ght} for a~more efficient algorithm running in time
777 $\widetilde\O(mn)$ for unit-cost graphs). The crucial property of this tree is that for every two
778 vertices $u$, $v$ of the graph~$G$, the minimum-cost edge on $T[u,v]$ has the same cost
779 as the minimum cut separating $u$ and~$v$ in~$G$. Since the construction of~$T$ generally
780 takes $\Omega(n^2)$ time, we could of course invest this time in precomputing the minima for
781 all pairs of vertices. This would however require quadratic space, so we can better use
782 the method of this section which fits in $\O(n+q)$ space for $q$~queries.
783
784 \rem
785 A~dynamic version of the problem is also often considered. It calls for a~data structure
786 representing a~weighted forest with operations for modifying the structure of the forest
787 and querying minima or maxima on paths. Sleator and Tarjan have shown in \cite{sleator:trees}
788 how to do this in $\O(\log n)$ time amortized per operation, which leads to
789 an~implementation of the Dinic's maximum flow algorithm \cite{dinic:flow}
790 in time $\O(mn\log n)$.
791
792 %--------------------------------------------------------------------------------
793
794 \section{Verification in linear time}\id{verifysect}%
795
796 We have proven that $\O(m)$ edge weight comparisons suffice to verify minimality
797 of a~given spanning tree. Now we will show an~algorithm for the RAM,
798 which finds the required comparisons in linear time. We will follow the idea
799 of King from \cite{king:verifytwo}, but as we have the power of the RAM data structures
800 from Section~\ref{bitsect} at our command, the low-level details will be easier,
801 especially the construction of vertex and edge labels.
802
803 \para
804 First of all, let us make sure that the reduction to fully branching trees
805 in Lemma \ref{verbranch} can be made run in linear time. As already noticed
806 in the proof, the Bor\o{u}vka's algorithm runs in linear time. Constructing
807 the Bor\o{u}vka tree in the process adds at most a~constant overhead to every
808 step of the algorithm.
809
810 Finding the common ancestors is not trivial, but Harel and Tarjan have shown
811 in \cite{harel:nca} that linear time is sufficient on the RAM. Several more
812 accessible algorithms have been developed since then (see the Alstrup's survey
813 paper \cite{alstrup:nca} and a~particularly elegant algorithm described by Bender
814 and Falach-Colton in \cite{bender:lca}). Any of them implies the following
815 theorem:
816
817 \thmn{Lowest common ancestors}\id{lcathm}%
818 On the RAM, it is possible to preprocess a~tree~$T$ in time $\O(n)$ and then
819 answer lowest common ancestor queries presented online in constant time.
820
821 \cor
822 The reductions in Lemma \ref{verbranch} can be performed in time $\O(m)$.
823
824 \para
825 Having the reduced problem at hand, it remains to implement the procedure \<FindPeaks>
826 of Algorithm \ref{findpeaks} efficiently. We need a~compact representation of
827 the arrays $T_e$ and~$P_e$, which will allow to reduce the overhead of the algorithm
828 to time linear will be linear in the number of comparisons performed. To achieve
829 this goal, we will encode the arrays in RAM vectors (see Section \ref{bitsect}
830 for the vector operations).
831
832 \defn
833
834 \em{Vertex identifiers:} Since all vertices processed by the procedure
835 lie on the path from the root to the current vertex~$u$, we modify the algorithm
836 to keep a~stack of these vertices in an~array. We will often refer to each vertex by its
837 index in this array, i.e., by its depth. We will call these identifiers \df{vertex
838 labels} and we note that each label requires only $\ell=\lceil \log\lceil\log n\rceil\rceil$
839 bits. As every tree edge is uniquely identified by its bottom vertex, we can
840 use the same encoding for \df{edge labels.}
841
842 \em{Slots:} As we will need several operations which are not computable
843 in constant time on the RAM, we precompute tables for these operations
844 like we did in the Q-heaps (cf.~Lemma \ref{qhprecomp}). A~table for word-sized
845 arguments would take too much time to precompute, so we will generally store
846 our data structures in \df{slots} of $s=\lceil 1/3\cdot\log n\rceil$ bits each.
847 We will show soon that it is possible to precompute a~table of any reasonable
848 function whose arguments fit in two slots.
849
850 \em{Top masks:} The array~$T_e$ will be represented by a~bit mask~$M_e$ called the \df{top mask.} For each
851 of the possible tops~$t$ (i.e., the ancestors of the current vertex), we store
852 a~single bit telling whether $t\in T_e$. Each top mask fits in $\lceil\log n\rceil$
853 bits and therefore in a~single machine word. If needed, it can be split to three slots.
854 Unions and intersections of sets of tops then translate to calling $\band$/$\bor$
855 on the top masks.
856
857 \em{Small and big lists:} The heaviest edge found so far for each top is stored
858 by the algorithm in the array~$P_e$. Instead of keeping the real array,
859 we store the labels of these edges in a~list encoded in a~bit string.
860 Depending on the size of the list, we use one of two possible encodings:
861 \df{Small lists} are stored in a~vector which fits in a~single slot, with
862 the unused fields filled by a~special constant, so that we can easily infer the
863 length of the list.
864
865 If the data do not fit in a~small list, we use a~\df{big list} instead, which
866 is stored in $\O(\log\log n)$ words, each of them containing a~slot-sized
867 vector. Unlike the small lists, we use the big lists as arrays. If a~top~$t$ of
868 depth~$d$ is active, we keep the corresponding entry of~$P_e$ in the $d$-th
869 field of the big list. Otherwise, we keep that entry unused.
870
871 We want to perform all operations on small lists in constant time,
872 but we can afford spending time $\O(\log\log n)$ on every big list. This
873 is true because whenever we use a~big list, $\vert T_e\vert = \Omega(\log n/\log\log n)$,
874 hence we need $\log\vert T_e\vert = \Omega(\log\log n)$ comparisons anyway.
875
876 \em{Pointers:} When we need to construct a~small list containing a~sub-list
877 of a~big list, we do not have enough time to see the whole big list. To handle
878 this, we introduce \df{pointers} as another kind of edge identifiers.
879 A~pointer is an~index to the nearest big list on the path from the small
880 list containing the pointer to the root. As each big list has at most $\lceil\log n\rceil$
881 fields, the pointer fits in~$\ell$ bits, but we need one extra bit to distinguish
882 between normal labels and pointers.
883
884 \lemman{Precomputation of tables}
885 When~$f$ is a~function of two arguments computable in polynomial time, we can
886 precompute a~table of the values of~$f$ for all values of arguments that fit
887 in a~single slot. The precomputation takes $\O(n)$ time.
888
889 \proof
890 Similar to the proof of Lemma \ref{qhprecomp}. There are $\O(2^{2s}) = \O(n^{2/3})$
891 possible values of arguments, so the precomputation takes time $\O(n^{2/3}\cdot\poly(s))
892 = \O(n^{2/3}\cdot\poly(\log n)) = \O(n)$.
893 \qed
894
895 \example
896 As we can afford spending spending $\O(n)$ time on preprocessing,
897 we can assume that we can compute the following functions in constant time:
898
899 \itemize\ibull
900 \:$\<Weight>(x)$ --- the Hamming weight of a~slot-sized number~$x$
901 (we already considered this operation in Algorithm \ref{lsbmsb}, but we needed
902 quadratic word size for it). We can easily extend this to $\log n$-bit numbers
903 by splitting the number in three slots and adding their weights.
904
905 \:$\<FindKth>(x,k)$ --- the $k$-th set bit from the top of the slot-sized
906 number~$x$. Again, this can be extended to multi-slot numbers by calculating
907 the \<Weight> of each slot first and then finding the slot containing the
908 $k$-th~\1.
909
910 \:$\<Bits>(m)$ --- for a~slot-sized bit mask~$m$, it returns a~small list
911 of the positions of the bits set in~$\(m)$.
912
913 \:$\<Select>(x,m)$ --- constructs a~slot containing the substring of $\(x)$
914 selected by the bits set in~$\(m)$.
915
916 \:$\<SubList>(x,m)$ --- when~$x$ is a~small list and~$m$ a bit mask, it returns
917 a~small list containing the elements of~$x$ selected by the bits set in~$m$.
918 \endlist
919
920 \para
921 We will now show how to perform all parts of the procedure \<FindPeaks>
922 in the required time. We will denote the size of the tree by~$n$ and the
923 number of query paths by~$q$.
924
925 \lemma
926 Depths of all vertices and all top masks can be computed in time $\O(n+q)$.
927
928 \proof
929 Run depth-first search on the tree, assign the depth of a~vertex when entering
930 it and construct its top mask when leaving it. The top mask can be obtained
931 by $\bor$-ing the masks of its sons, excluding the level of the sons and
932 including the tops of all query paths that have their bottoms at the current vertex
933 (the depths of the tops are already assigned).
934 \qed
935
936 \lemma\id{verth}%
937 The arrays $T_e$ and~$P_e$ can be indexed in constant time.
938
939 \proof
940 Indexing~$T_e$ is exactly the operation \<FindKth> applied on the corresponding
941 top mask~$M_e$.
942
943 If $P_e$ is stored in a~big list, we calculate the index of the particular
944 slot and the position of the field inside the slot. This field can be then
945 extracted using bit masking and shifts.
946
947 If it is a~small list, we extract the field directly, but we have to
948 dereference it in case it is a pointer. We modify the recursion in \<FindPeaks>
949 to pass the depth of the lowest edge endowed with a~big list and when we
950 encounter a~pointer, we index this big list.
951 \qed
952
953 \lemma\id{verhe}%
954 For an~arbitrary active top~$t$, the corresponding entry of~$P_e$ can be
955 extracted in constant time.
956
957 \proof
958 We look up the precomputed depth~$d$ of~$t$ first.
959 If $P_e$ is stored in a~big list, we extract the $d$-th entry of the list.
960 If the list is small, we find the position of the particular field
961 by counting bits of the top mask~$M_e$ at position~$d$ and higher
962 (this is \<Weight> of $M_e$ with the lower bits masked out).
963 \qed
964
965 \lemma\id{verfh}%
966 The procedure \<FindPeaks> processes an~edge~$e$ in time $\O(\log \vert T_e\vert + q_e)$,
967 where $q_e$~is the number of query paths having~$e$ as its bottom edge.
968
969 \proof
970 The edge is examined in steps 1, 3, 4 and~5 of the algorithm. We will show how to
971 perform each of these steps in constant time if $P_e$ is a~small list or
972 $\O(\log\log n)$ if it is big.
973
974 \em{Step~1} looks up $q_e$~tops in~$P_e$ and we already know from Lemma \ref{verhe}
975 how to do that in constant time per top.
976
977 \em{Step~3} is trivial as we have already computed the top masks and we can
978 reconstruct the entries of~$T_e$ in constant time according to Lemma \ref{verth}.
979
980 \em{Step~5} involves binary search on~$P_e$ in $\O(\log\vert T_e\vert)$ comparisons,
981 each of them indexes~$P_e$, which is $\O(1)$ again by Lemma \ref{verth}. Rewriting the
982 lighter edges is $\O(1)$ for small lists by replication and bit masking, for a~big
983 list we do the same for each of its slots.
984
985 \em{Step~4} is the only non-trivial one. We already know which tops to select
986 (we have the top masks $M_e$ and~$M_p$ precomputed), but we have to carefully
987 extract the sublist.
988 We need to handle these four cases:
989
990 \itemize\ibull
991 \:\em{Small from small:} We use $\<Select>(T_e,T_p)$ to find the fields of~$P_p$
992 that shall be deleted by a~subsequent call to \<SubList>. Pointers
993 can be retained as they still refer to the same ancestor list.
994
995 \:\em{Big from big:} We can copy the whole~$P_p$, since the layout of the
996 big lists is fixed and the items we do not want simply end up as unused
997 fields in~$P_e$.
998
999 \:\em{Small from big:} We use the operation \<Bits> to construct a~list
1000 of pointers (we use bit masking to add the ``this is a~pointer'' flags).
1001
1002 \:\em{Big from small:} First we have to dereference the pointers in the
1003 small list~$S$. For each slot~$B_i$ of the ancestor big list, we construct
1004 a~subvector of~$S$ containing only the pointers referring to that slot,
1005 adjusted to be relative to the beginning of the slot (we use \<Compare>
1006 and \<Replicate> from Algorithm \ref{vecops} and bit masking). Then we
1007 use a~precomputed table to replace the pointers by the fields of~$B_i$
1008 they point to. We $\bor$ together the partial results and we again have
1009 a~small list.
1010
1011 Finally, we have to spread the fields of this small list to the whole big list.
1012 This is similar: for each slot of the big list, we find the part of the small
1013 list keeping the fields we want (we call \<Weight> on the sub-words of~$M_e$ before
1014 and after the intended interval of depths) and we use a~tabulated function
1015 to shift the fields to the right locations in the slot (controlled by the
1016 sub-word of~$M_e$ in the intended interval).
1017 \qeditem
1018 \endlist
1019
1020 \>We are now ready to combine these steps and get the following theorem:
1021
1022 \thmn{Verification of MST on the RAM}\id{ramverify}%
1023 There is a~RAM algorithm, which for every weighted graph~$G$ and its spanning tree~$T$
1024 determines whether~$T$ is minimum and finds all $T$-light edges in~$G$ in time $\O(m)$.
1025
1026 \proof
1027 Implement the Koml\'os's algorithm from Theorem \ref{verify} with the data
1028 structures developed in this section.
1029 According to Lemma \ref{verfh}, it runs in time $\sum_e \O(\log\vert T_e\vert + q_e)
1030 = \O(\sum_e \log\vert T_e\vert) + \O(\sum_e q_e)$. The second sum is $\O(m)$
1031 as there are $\O(1)$ query paths per edge, the first sum is $\O(\#\hbox{comparisons})$,
1032 which is $\O(m)$ by Theorem \ref{verify}.
1033 \qed
1034
1035 \paran{Verification on the Pointer Machine}\id{pmverify}%
1036 Buchsbaum et al.~\cite{buchsbaum:verify} have recently shown that linear-time
1037 verification can be achieved even on the Pointer Machine. They first solve the
1038 problem of finding the lowest common ancestors for a~set of pairs of vertices
1039 by batch processing: They combine an~algorithm of time complexity $\O(m\timesalpha(m,n))$
1040 based on the Disjoint Set Union data structure with the framework of topological graph
1041 computations developed in Section \ref{bucketsort}. Then they use a~similar
1042 technique for finding the peaks themselves.
1043
1044 \paran{Online verification}%
1045 The online version of this problem has turned out to be more difficult. It calls for an~algorithm
1046 that preprocesses the tree and then answers queries for peaks of paths presented online. Pettie
1047 \cite{pettie:onlineverify} has proven an~interesting lower bound based on the inverses of the
1048 Ackermann's function (see \ref{ackerinv}). If we want to answer queries within $t$~comparisons, we
1049 have to invest $\Omega(n\log\lambda_t(n))$ time into preprocessing. This implies that with
1050 preprocessing in linear time, the queries require $\Omega(\alpha(n))$ time.
1051
1052 %--------------------------------------------------------------------------------
1053
1054 \section{A randomized algorithm}\id{randmst}%
1055
1056 When we analysed the contractive Bor\o{u}vka's algorithm in Section~\ref{contalg},
1057 we observed that while the number of vertices per iteration decreases exponentially,
1058 the number of edges generally does not, so we spend $\Theta(m)$ time on every phase.
1059 Karger, Klein and Tarjan \cite{karger:randomized} have overcome this problem by
1060 combining the Bor\o{u}vka's algorithm with filtering based on random sampling.
1061 This leads to a~randomized algorithm which runs in linear expected time.
1062
1063 The principle of the filtering is simple: Let us consider any spanning tree~$T$
1064 of the input graph~$G$. Each edge of~$G$ that is $T$-heavy is the heaviest edge
1065 of some cycle, so by the Red lemma (\ref{redlemma}) it cannot participate in
1066 the MST of~$G$. We can therefore discard all $T$-heavy edges and continue with
1067 finding the MST on the reduced graph. Of course, not all choices of~$T$ are equally
1068 good, but it will soon turn out that when we take~$T$ as the MST of a~randomly selected
1069 subgraph, only a~small expected number of edges remains.
1070
1071 Selecting a~subgraph at random will unavoidably produce disconnected subgraphs
1072 at occassion, so we will drop the implicit assumption that all graphs are
1073 connected for this section and we will always search for the minimum spanning forest.
1074 As we already noted (\ref{disconn}), with a~little bit of care our
1075 algorithms and theorems keep working.
1076
1077 Since we need the MST verification algorithm for finding the $T$-heavy edges,
1078 we will assume that we are working on the RAM.
1079
1080 \lemman{Random sampling, Karger \cite{karger:sampling}}
1081 Let $H$~be a~subgraph of~$G$ obtained by including each edge independently
1082 with probability~$p$ and $F$~the minimum spanning forest of~$H$. Then the
1083 expected number of $F$-nonheavy\foot{These include $F$-light edges and also
1084 edges of~$F$ itself.}
1085 edges in~$G$ is at most $n/p$.
1086
1087 \proof
1088 Let us observe that we can obtain the forest~$F$ by running the Kruskal's algorithm
1089 (\ref{kruskal}) combined with the random process producing~$H$ from~$G$. We sort all edges of~$G$
1090 by their weights and we start with an~empty forest~$F$. For each edge, we first
1091 flip a~biased coin (which gives heads with probability~$p$) and if it comes up
1092 tails, we discard the edge. Otherwise we perform a~single step of the Kruskal's
1093 algoritm: We check whether $F+e$ contains a~cycle. If it does, we discard~$e$, otherwise
1094 we add~$e$ to~$F$. At the end, we have produced the subgraph~$H$ and its MSF~$F$.
1095
1096 When we  exchange the check for cycles with flipping the coin, we get an~equivalent
1097 algorithm which will turn out to be more convenient to analyse:
1098 \algo
1099 \:If $F+e$ contains a~cycle, we immediately discard~$e$ (we can flip
1100 the coin, but we need not to, because the edge will be discarded regardless of
1101 the outcome). We note that~$e$ is $F$-heavy with respect to both the
1102 current state of~$F$ and the final MSF.
1103 \:If $F+e$ is acyclic, we flip the coin:
1104 \::If it comes up heads, we add~$e$ to~$F$. In this case, $e$~is neither $F$-light
1105    nor $F$-heavy.
1106 \::If it comes up tails, we discard~$e$. Such edges are $F$-light.
1107 \endalgo
1108
1109 The number of $F$-nonheavy edges is therefore equal to the total number of the coin
1110 flips in step~2 of this algorithm. We also know that the algorithm stops before
1111 it adds $n$~edges to~$F$. Therefore it flips at most as many coins as a~simple
1112 random process which repeatedly flips until it gets~$n$ heads. As waiting for
1113 every occurence of heads takes expected time~$1/p$, waiting for~$n$ heads
1114 must take $n/p$. This is the bound we wanted to achieve.
1115 \qed
1116
1117 \para
1118 We will formulate the algorithm as a~doubly-recursive procedure. It alternatively
1119 peforms steps of the Bor\o{u}vka's algorithm and filtering based on the above lemma.
1120 The first recursive call computes the MSF of the sampled subgraph, the second one
1121 finds the MSF of the graph without the heavy edges.
1122
1123 As in all contractive algorithms, we use edge labels to keep track of the
1124 original locations of the edges in the input graph. For the sake of simplicity,
1125 we do not mention it in the algorithm.
1126
1127 \algn{MSF by random sampling --- the KKT algorithm}\id{kkt}%
1128 \algo
1129 \algin A~graph $G$ with an~edge comparison oracle.
1130 \:Remove isolated vertices from~$G$. If no vertices remain, stop and return an~empty forest.
1131 \:Perform two Bor\o{u}vka steps (iterations of Algorithm \ref{contbor}) on~$G$ and
1132   remember the set~$B$ of edges contracted.
1133 \:Select subgraph~$H\subseteq G$ by including each edge independently with
1134   probability $1/2$.
1135 \:$F\=\msf(H)$ calculated recursively.
1136 \:Construct $G'\subseteq G$ by removing all $F$-heavy edges of~$G$.
1137 \:$R\=\msf(G')$ calculated recursively.
1138 \:Return $R\cup B$.
1139 \algout The minimum spanning forest of~$G$.
1140 \endalgo
1141
1142 \nota
1143 Let us analyse the time complexity of this algorithm by studying properties of its \df{recursion tree.}
1144 The tree describes the subproblems processed by the recursive calls. For any vertex~$v$
1145 of the tree, we denote the number of vertices and edges of the corresponding subproblem~$G_v$
1146 by~$n_v$ and~$m_v$ respectively.
1147 If $m_v>0$, the recursion continues: the left son of~$v$ corresponds to the
1148 call on the sampled subgraph~$H_v$, the right son to the reduced graph~$G^\prime_v$.
1149 (Similarly, we use letters subscripted with~$v$ for the state of the other variables
1150 of the algorithm.)
1151 The root of the recursion tree is obviously the original graph~$G$, the leaves are
1152 trivial graphs with no edges.
1153
1154 \obs
1155 The Bor\o{u}vka steps together with the removal of isolated vertices guarantee that the number
1156 of vertices drops at least by a~factor of four in every recursive call. The size of a~subproblem~$G_v$
1157 at level~$i$ is therefore at most $n/4^i$ and the depth of the tree is at most $\lceil\log_4 n\rceil$.
1158 As there are no more than~$2^i$ subproblems at level~$i$, the sum of all~$n_v$'s
1159 on that level is at most $n/2^i$, which is at most~$2n$ for the whole tree.
1160
1161 We are going to show that the worst case of the KKT algorithm is not worse than
1162 of the plain contractive algorithm, while the average case is linear.
1163
1164 \lemma
1165 For every subproblem~$G_v$, the KKT algorithm spends time $\O(m_v+n_v)$ plus the time
1166 spent on the recursive calls.
1167
1168 \proof
1169 We know from Lemma \ref{contiter} that each Bor\o{u}vka step takes time $\O(m_v+n_v)$.\foot{We
1170 add $n_v$ as the graph could be disconnected.}
1171 The selection of the edges of~$H_v$ is straightforward.
1172 Finding the $F_v$-heavy edges is not, but we have already shown in Theorem \ref{ramverify}
1173 that linear time is sufficient on the RAM.
1174 \qed
1175
1176 \thmn{Worst-case complexity of the KKT algorithm}
1177 The KKT algorithm runs in time $\O(\min(n^2,m\log n))$ in the worst case on the RAM.
1178
1179 \proof
1180 The argument for the $\O(n^2)$ bound is similar to the analysis of the plain
1181 contractive algorithm. As every subproblem~$G_v$ is a~simple graph, the number
1182 of its edges~$m_v$ is less than~$n_v^2$. By the previous lemma, we spend time
1183 $\O(n_v^2)$ on it. Summing over all subproblems yields $\sum_v \O(n_v^2) =
1184 \O((\sum_v n_v)^2) = \O(n^2)$.
1185
1186 In order to prove the $\O(m\log n)$ bound, it is sufficient to show that the total time
1187 spent on every level of the recursion tree is $\O(m)$. Suppose that $v$~is a~vertex
1188 of the recursion tree with its left son~$\ell$ and right son~$r$. Some edges of~$G_v$
1189 are removed in the Bor\o{u}vka steps, let us denote their number by~$b_v$.
1190 The remaining edges fall either to~$G_\ell = H_v$, or to $G_r = G^\prime_v$, or possibly
1191 to both.
1192
1193 We can observe that the intersection $G_\ell\cap G_r$ cannot be large: The edges of~$H_v$ that
1194 are not in the forest~$F_v$ are $F_v$-heavy, so they do not end up in~$G_r$. Therefore the
1195 intersection can contain only the edges of~$F_v$. As there are at most $n_v/4$ such edges,
1196 we have $m_\ell + m_r + b_v \le m_v + n_v/4$.
1197
1198 On the other hand, the first Bor\o{u}vka step selects at least $n_v/2$ edges,
1199 so $b_v \ge n_v/2$. The duplication of edges between $G_\ell$ and~$G_r$ is therefore
1200 compensated by the loss of edges by contraction and $m_\ell + m_r \le m_v$. So the total
1201 number of edges per level does not decrease and it remains to apply the previous lemma.
1202 \qed
1203
1204 \thmn{Average-case complexity of the KKT algorithm}
1205 The expected time complexity of the KKT algorithm on the RAM is $\O(m)$.
1206
1207 \proof
1208 The structure of the recursion tree depends on the random choices taken,
1209 but as its worst-case depth is at most~$\lceil \log_4 n\rceil$, the tree
1210 is always a~subtree of the complete binary tree of that depth. We will
1211 therefore prove the theorem by examining the complete tree, possibly with
1212 empty subproblems at some vertices.
1213
1214 The set of all left edges in the tree (edges connecting a~parent with its left
1215 son) form a~set of \df{left paths.} Let us consider the expected time spent on
1216 a~single left path. When walking the path downwards from its top vertex~$r$,
1217 the expected size of the subproblems decreases exponentially: for a~son~$\ell$
1218 of a~vertex~$v$, we have $n_\ell \le n_v/4$ and $\E m_\ell = \E m_v/2$. The
1219 expected total time spend on the path is therefore $\O(n_r+m_r)$ and it remains
1220 to sum this over all left paths.
1221
1222 With the exception of the path going from the root of the tree,
1223 the top~$r$ of a~left path is always a~right son of a~unique parent vertex~$v$.
1224 Since the subproblem~$G_r$ has been obtained from its parent subproblem~$G_v$
1225 by filtering out all heavy edges, we can use the Sampling lemma to show that
1226 $\E m_r \le 2n_v$. The sum of the expected sizes of all top subproblems is
1227 then $\sum_r n_r + m_r \le \sum_v 3n_v = \O(n)$. After adding the exceptional path
1228 from the root, we get $\O(m+n)=\O(m)$.
1229 \qed
1230
1231 \rem
1232 There is also a~high-probability version of the above theorem. According to
1233 Karger, Klein and Tarjan \cite{karger:randomized}, the time complexity
1234 of the algorithm is $\O(m)$ with probability $1-\exp(-\Omega(m))$. The proof
1235 again follows the recursion tree and it involves applying the Chernoff bound
1236 \cite{chernoff} to bound the tail probabilities.
1237
1238 \rem
1239 We could also use a~slightly different formulation of the sampling lemma
1240 suggested by Chan \cite{chan:backward}. It changes the selection of the subgraph~$H$
1241 to choosing an~$mp$-edge subset of~$E(G)$ uniformly at random. The proof is then
1242 a~straightforward application of the backward analysis method. We however prefered
1243 the Karger's original version, because generating a~random subset of a~given size
1244 requires an~unbounded number of random bits in the worst case.
1245
1246 \rem
1247 The only place where we needed the power of the RAM is finding the heavy edges,
1248 so we can employ the pointer-machine verification algorithm mentioned in \ref{pmverify}
1249 to bring the results of this section to the~PM.
1250
1251 %--------------------------------------------------------------------------------
1252
1253 \section{Special cases and related problems}
1254
1255 Finally, we will focus our attention on various special cases of the minimum
1256 spanning tree problem which frequently arise in practice.
1257
1258 \examplen{Graphs with sorted edges}
1259 When the edges are already sorted by their weights, we can use the Kruskal's
1260 algorithm to find the MST in time $\O(m\timesalpha(n))$ (Theorem \ref{kruskal}).
1261 We however can do better: As the minimality of a~spanning tree depends only on the
1262 order of weights and not on the actual values (The Minimality Theorem, \ref{mstthm}), we can
1263 renumber the weights to $1, \ldots, m$ and find the MST using the Fredman-Willard
1264 algorithm for integer weights. According to Theorem \ref{intmst} it runs in
1265 time $\O(m)$ on the Word-RAM.
1266
1267 \examplen{Graphs with a~small number of distinct weights}
1268 When the weights of edges are drawn from a~set of a~fixed size~$U$, we can
1269 sort them in linear time and so reduce the problem to the previous case.
1270 A~more practical way is to use the Jarn\'\i{}k's algorithm (\ref{jarnimpl}),
1271 but replace the heap by an~array of $U$~buckets. As the number of buckets
1272 is constant, we can find the minimum in constant time and hence the whole
1273 algorithm runs in time $\O(m)$, even on the Pointer Machine. For large
1274 values of~$U,$ we can build a~binary search tree or the van Emde-Boas
1275 tree (see Section \ref{ramdssect} and \cite{boas:vebt}) on the top of the buckets to bring the complexity
1276 of finding the minimum down to $\O(\log U)$ or $\O(\log\log U)$ respectively.
1277
1278 \examplen{Graphs with floating-point weights}
1279 A~common case of non-integer weights are rational numbers in floating-point (FP)
1280 representation. Even in this case we will be able to find the MST in linear time.
1281 The most common representation of binary FP numbers specified by the IEEE
1282 standard 754-1985 \cite{ieee:binfp} has a~useful property:  When the
1283 bit strings encoding non-negative FP numbers are read as ordinary integers,
1284 the order of these integers is the same as of the original FP numbers. We can
1285 therefore once again replace the edge weights by integers and use the linear-time
1286 integer algorithm. While the other FP representations (see \cite{dgoldberg:fp} for
1287 an~overview) need not have this property, the corresponding integers can be adjusted
1288 in $\O(1)$ time to the format we need. (More advanced tricks of this type have been
1289 employed by Thorup in \cite{thorup:floatint} to extend his linear-time algorithm
1290 for single-source shortest paths to FP edge lengths.)
1291
1292 \examplen{Graphs with bounded degrees}
1293 For graphs with vertex degrees bounded by a~constant~$\Delta$, the problem is either
1294 trivial (if $\Delta<3$) or as hard as for arbitrary graphs. There is a~simple linear-time
1295 transform of arbitrary graphs to graphs with maximum degree~3 which preserves the MST:
1296
1297 \lemman{Degree reduction}\id{degred}%
1298 For every graph~$G$ there exists a~graph~$G'$ with maximum degree at most~3 and
1299 a~function $\pi: E(G)\rightarrow E(G')$ such that $\mst(G) = \pi^{-1}(\mst(G'))$.
1300 The graph $G'$ and the embedding~$\pi$ can be constructed in time $\O(m)$.
1301
1302 \figure{french.eps}{\epsfxsize}{Degree reduction in Lemma~\ref{degred}}
1303
1304 \proof
1305 We show how to eliminate a~single vertex~$v$ of degree $d>3$ and then apply
1306 induction.
1307
1308 Assume that $v$~has neighbors $w_1,\ldots,w_d$. We replace~$v$ and the edges~$vw_i$
1309 by $d$~new vertices $v_1,\ldots,v_d$, joined by a~path $v_1v_2\ldots v_d$, and
1310 edges~$v_iw_i$. Each edge of the path will receive a~weight smaller than all
1311 original weights, the other edges will inherit the weights of the edges $vw_i$
1312 they replace. The edges of the path will therefore lie in the MST (this is
1313 obvious from the Kruskal's algorithm) and as~$G$ can be obtained from the
1314 new~$G'$ by contracting the path, the rest follows from the Contraction lemma
1315 (\ref{contlemma}).
1316
1317 This step can be carried out in time $\O(d)$. As it replaces a high-degree
1318 vertex by vertices of degree~3, the whole procedure stops in at most~$n$ such
1319 steps, so it takes time $\O(\sum_{v\in V}\deg(v)) = \O(m)$ including the
1320 time needed to find the high-degree vertices at the beginning.
1321 \qed
1322
1323 \examplen{Euclidean MST}
1324 The MST also has its counterparts in the realm of geometric algorithms. Suppose
1325 that we have $n$~points $x_1,\ldots,x_n$ in the plane and we want to find the
1326 shortest system of segments connecting these points. If we want the segments to
1327 touch only in the given points, this is equivalent to finding the MST of the
1328 complete graph on the vertices $V=\{x_1,\ldots,x_n\}$ with edge weights
1329 defined as the Euclidean distances of the points. Since the graph is dense, many of the MST
1330 algorithms discussed run in linear time with the size of the graph, hence
1331 in time $\O(n^2)$.
1332
1333 There is a~more efficient method based on the observation that the MST
1334 is always a~subgraph of the Delaunay's tesselation for the given points
1335 (this was first noted by Shamos and Hoey in~\cite{shamos:closest}). The
1336 tesselation is a~planar graph, which guarantees that it has $\O(n)$ edges,
1337 and it is a~dual graph of the Voronoi diagram of the given points, which can
1338 be constructed in time $\O(n\log n)$ using for example the Fortune's
1339 algorithm \cite{fortune:voronoi}. We can therefore reduce the problem
1340 to finding the MST of the tesselation for which $\O(n\log n)$ time
1341 is more than sufficient.
1342
1343 This approach fails for non-Euclidean metrics, but in some cases
1344 (in particular for the rectilinear metric) the $\O(n\log n)$ time bound
1345 is also achievable by the algorithm of Zhou et al.~\cite{zhou:nodel}
1346 based on the sweep-line technique and the Red rule. For other
1347 variations on the geometric MST, see Eppstein's survey paper
1348 \cite{eppstein:spanning}.
1349
1350 \examplen{Steiner trees}
1351 The constraint that the segments in the previous example are allowed to touch
1352 each other only in the given points looks artificial and it is indeed uncommon in
1353 practical applications (including the problem of designing electrical transmission
1354 lines originally studied by Bor\o{u}vka). If we lift this restriction, we get
1355 the problem known by the name Steiner tree.\foot{It is named after the Swiss mathematician
1356 Jacob Steiner who studied a~special case of this problem in the 19th century.}
1357 We can also define it in terms of graphs:
1358
1359 \defn A~\df{Steiner tree} of a~weighted graph~$(G,w)$ with a~set~$M\subseteq V$
1360 of \df{mandatory notes} is a~tree~$T\subseteq G$ that contains all the mandatory
1361 vertices and its weight is minimum possible.
1362
1363 For $M=V$ the Steiner tree is identical to the MST, but if we allow an~arbitrary
1364 choice of the mandatory vertices, it is NP-hard. This has been proven by Garey and Johnson
1365 \cite{garey:steiner,garey:rectisteiner} for not only the graph version with
1366 weights $\{1,2\}$, but also for the planar version with Euclidean or rectilinear
1367 metric. There is a~polynomial approximation algorithm with ratio $5/3$ for
1368 graphs due to Pr\"omel and Steger \cite{proemel:steiner} and a~polynomial-time
1369 approximation scheme for the Euclidean Steiner tree in an~arbitrary dimension
1370 by Arora \cite{arora:tspapx}.
1371
1372 \examplen{Approximating the weight of the MST}
1373 Sometimes we are not interested in the actual edges forming the MST and only
1374 the weight matters. If we are willing to put up with a~randomized approximation,
1375 we can even achieve sub-linear complexity. Chazelle et al.~\cite{chazelle:mstapprox}
1376 have shown an~algorithm which, given $0 < \varepsilon < 1/2$, approximates
1377 the weight of the MST of a~graph with average degree~$d$ and edge weights from the set
1378 $\{1,\ldots,w\}$ in time $\O(dw\varepsilon^{-2}\cdot\log(dw/\varepsilon))$,
1379 producing a~weight which has relative error at most~$\varepsilon$ with probability
1380 at least $3/4$. They have also proven an~almost matching lower bound $\Omega(dw\varepsilon^{-2})$.
1381
1382 For the $d$-dimensional Euclidean case, there is a~randomized approximation
1383 algorithm by Czumaj et al.~\cite{czumaj:euclidean} which with high probability
1384 produces a~spanning tree within relative error~$\varepsilon$ in $\widetilde\O(\sqrt{n}\cdot \poly(1/\varepsilon))$\foot{%
1385 $\widetilde\O(f) = \O(f\cdot\log^{\O(1)} f)$ and $\poly(n)=n^{\O(1)}$.}
1386 queries to a~data structure containing the points. The data structure is expected
1387 to answer orthogonal range queries and cone approximate nearest neighbor queries.
1388 There is also a~$\widetilde\O(n\cdot \poly(1/\varepsilon))$ time approximation
1389 algorithm for the MST weight in arbitrary metric spaces by Czumaj and Sohler \cite{czumaj:metric}.
1390 (This is still sub-linear since the corresponding graph has roughly $n^2$ edges.)
1391
1392 \endpart