APSP: Prepsana cast o regularnich vyrazech a nasobeni matic

[ga.git] / 14-floyd / 14-floyd.tex

\input ../sgr.tex

\prednaska{13}{Nejkrat¹í cesty: Maticové metody}{}

V~pøedchozí kapitole jsme se zabývali algoritmy pro hledání nejkrat¹ích
cest z~daného poèáteèního vrcholu. Nyní se zamìøíme na výpoèet celé
metriky grafu, tedy matice vzdáleností, která pro ka¾dou dvojici vrcholù
obsahuje délku nejkrat¹í cesty mezi nimi.

Jeden zpùsob se ihned nabízí: postupnì spustit Dijkstrùv algoritmus pro v¹echny
mo¾né volby poèáteèního vrcholu, pøípadnì se pøed tím je¹tì pomocí potenciálù
zbavit záporných hran. Tak dosáhneme èasové slo¾itosti $\O(mn + n^2\log n)$,
co¾ je pro øídké grafy nejlep¹í známý výsledek -- jen $\O(\log n)$-krát
pomalej¹í, ne¾ je velikost výstupu.

Pro husté grafy obvykle pracují rychleji algoritmy zalo¾ené na maticích a zejména
na jejich násobení. Nìkolik takových si nyní pøedvedeme. Vrcholy grafu budou
v¾dy oèíslované èísly 1 a¾~$n$ a graf doplníme na úplný, pøièem¾ hrany, které
pùvodnì neexistovaly, obdr¾í délku $+\infty$.

\h{Floydùv-Warshallùv algoritmus}

Zaènìme algoritmem, který nezávisle na sobì objevili Floyd a Warshall.
Funguje pro libovolný orientovaný graf bez záporných cyklù.

Oznaème $D^k_{ij}$ délku nejkrat¹í cesty z~vrcholu~$i$ do vrcholu~$j$ pøes
vrcholy 1 a¾~$k$ (tím myslíme, ¾e v¹echny vnitøní vrcholy cesty le¾í v~mno¾inì $\{1,\ldots,k\}$).
Jako obvykle polo¾íme $D^k_{ij}=+\infty$, pokud ¾ádná taková cesta neexistuje.
Pak platí:
$$\eqalign{
D^0_{ij} &= \hbox{délka hrany $ij$,} \cr
D^n_{ij} &= \hbox{vzdálenost z~$i$ do~$j$,} \cr
D^k_{ij} &= \min( D^{k-1}_ij, D^{k-1}_{ik} + D^{k-1}_{kj} ). \cr
}$$
První dvì rovnosti dostaneme pøímo z~definice. Tøetí rovnost dostaneme rozdìlením
cest z~$i$ do~$j$ pøes 1 a¾~$k$ na ty, které se vrcholu~$k$ vyhnou (a~jsou tedy
cestami pøes 1 a¾~$k-1$), a ty, které ho pou¾ijí -- ka¾dou takovou mù¾eme slo¾it
z~cesty z~$i$ do~$k$ a cesty z~$k$ do~$j$, obojí pøes 1 a¾~$k-1$.

Zbývá vyøe¹it jednu malièkost: slo¾ením cesty z~$i$ do~$k$ s~cestou z~$k$ do~$j$
nemusí nutnì vzniknout cesta, proto¾e se nìjaký vrchol mù¾e opakovat. V~grafech
bez záporných cyklù nicménì takový sled nemù¾e být krat¹í ne¾ nejkrat¹í cesta,
tak¾e tím fale¹né øe¹ení nevyrobíme. (Pøesnìji: ze sledu $i\alpha v\beta k\gamma v\delta j$,
kde $v\not\in\beta,\gamma$, mù¾eme vypu¹tìním èásti $v\beta k\gamma v$ nezáporné
délky získat sled z~$i$ do~$j$ pøes 1 a¾~$k-1$, jeho¾ délka nemù¾e být men¹í
ne¾~$D^{k-1}{ij}$.)

Samotný algoritmus pak postupnì poèítá matice $D^0, D^1, \ldots, D^n$:

\algo
\:$D^0 \leftarrow \hbox{matice délek hran}$
\:Pro $k=1,\ldots,n$:
\::Pro $i,j=1,\ldots,n$:
\:::$D^k_{ij} = \min( D^{k-1}_ij, D^{k-1}_{ik} + D^{k-1}_{kj} )$.
\:$\hbox{Matice vzdáleností} \leftarrow D^n.$
\endalgo

Èasová slo¾itost tohoto algoritmu èiní $\Theta(n^3)$. Kubickou prostorovou
slo¾itost mù¾eme snadno sní¾it na~kvadratickou: Buï si uvìdomíme, ¾e v~ka¾dém
okam¾iku potøebujeme jen aktuální matici~$D^k$ a pøedchozí~$D^{k-1}$. Anebo
nahlédneme, ¾e mù¾eme $D^{k-1}$ na~$D^k$ pøepisovat na místì. U~hodnot $D_{ik}$
a~$D_{kj}$ je toti¾ podle definice stará i nová hodnota stejná. Algoritmu tedy
staèí $\Theta(n^2)$ pamìti.

\h{Regulární výrazy}

Pøedchozí algoritmus lze zajímavì zobecnit, toti¾ tak, aby pro ka¾dou dvojici
vrcholù sestrojil vhodnou reprezentaci mno¾iny v¹ech sledù vedoucích mezi touto
dvojicí. Tato reprezentace bude velice podobná regulárním výrazùm známým
z~teorie automatù. Zadaný orientovaný graf pøitom mù¾e obsahovat i smyèky
a násobné hrany.

\s{Definice:} {\I Svazek} je mno¾ina sledù, které mají spoleèný poèáteèní
a koncový vrchol. {\I Typem} svazku nazveme uspoøádanou dvojici tìchto vrcholù.
Místo \uv{svazek typu $(u,v)$} budeme obvykle øíkat prostì {\I $uv$-svazek.}

Triviálními pøípady svazkù jsou prázdná mno¾ina~$\emptyset$, hrana~$uv$ a pro
$u=v$ také sled~$\varepsilon$ nulové délky. Svazky mù¾eme kombinovat
následujícími operacemi:

\itemize\ibull
\:$A\cup B$ -- {\I sjednocení} dvou svazkù tého¾ typu,
\:$AB$ nebo $A\cdot B$ -- {\I zøetìzení} $uv$-svazku~$A$ s~$vw$-svazkem~$B$: výsledkem je $uw$-svazek
obsahující v¹echna spojení sledu z~$A$ se sledem z~$B$,
\:$A^*$ -- {\I iterace} $uu$-svazku: výsledkem je $uu$-svazek
$\varepsilon \cup A \cup AA \cup AAA \cup \ldots$ (tedy v¹echna mo¾ná
spojení koneènì mnoha sledù z~$A$).
\endlist

\>Ve~výrazu definujícím~$A^*$ jsme vyu¾ili, ¾e operace sjednocení a zøetìzení
jsou asociativní, tak¾e je nemusíme závorkovat. Navíc sjednocení má ve~výrazech
ni¾¹í prioritu ne¾ zøetìzení.

\>Svazky budeme obvykle reprezentovat {\I sledovými výrazy,} co¾ jsou
výrazy koneèné délky sestávající se z~triviálních svazkù a vý¹e uvedených
operací.

\s{Pozorování:} Sledy mù¾eme reprezentovat øetìzci nad abecedou, její¾
symboly jsou identifikátory hran. Sledové výrazy pak odpovídají regulárním
výrazùm nad touto abecedou.

Uká¾eme, jak pro v¹echny dvojice vrcholu $i,j$ sestrojit sledový výraz $R_{ij}$
popisující svazek v¹ech sledù z~$i$ do~$j$. Podobnì jako u~Floydova-Warshallova
algoritmu zavedeme $R^k_{ij}$ coby výraz popisující sledy z~$i$ do~$j$ pøes 1 a¾~$k$
a nahlédneme, ¾e platí:
$$\eqalign{
R^0_{ij} &= \hbox{mno¾ina v¹ech hran z~$i$ do~$j$}, \cr
R^n_{ij} &= \hbox{hledané $R_{ij}$}, \cr
R^k_{ij} &= R^{k-1}_{ij} \cup R^{k-1}_{ik}(R^{k-1}_{kk})^*R^{k-1}_{kj}. \cr
}$$
První dvì rovnosti opìt dostaneme pøímo z~definice (mno¾inu v¹ech hran zapí¹eme
buï jako prázdnou nebo ji vytvoøíme sjednocováním z~jednoprvkových mno¾in). Tøetí
rovnost vychází z~toho, ¾e ka¾dý sled z~$i$ do~$j$ buï neobsahuje~$k$, nebo ho
mù¾eme rozdìlit na~èásti mezi jednotlivými náv¹tìvami vrcholu~$k$.

Algoritmus tedy bude postupnì budovat matice $R^0, R^1, \ldots, R^n$ podle tìchto
pravidel. Provedeme pøi tom $\Theta(n^3)$ operací, ov¹em s~výrazy, jejich¾ délka
mù¾e být a¾ øádovì~$4^n$. Radìji ne¾ jako øetìzce je budeme ukládat v~podobì
acyklických orientovaných grafù: vrcholy budou operace, hrany je budou pøipojovat
k~operandùm.

K~pøímému pou¾ití se takový exponenciálnì dlouhý výraz hodí málokdy, ale mù¾e
nám pomoci odpovídat na rùzné otázky týkající se sledù s~danými koncovými vrcholy.
Máme-li nìjakou funkci~$f$ pøiøazující hodnoty mno¾inám sledù kódovaným sledovými
výrazy, staèí umìt vyhodnotit:
\itemize\ibull
\:výsledek pro triviální výrazy $f(\emptyset)$, $f(\varepsilon)$ a $f(e)$ pro hranu~$e$,
\:hodnoty $f(\alpha\cup\beta)$, $f(\alpha\beta)$ a $f(\alpha^*)$, známe-li ji¾ $f(\alpha)$ a $f(\beta)$.
\endlist
\>Pro výpoèet v¹ech $f(R_{ij})$ nám pak staèí $\Theta(n^3)$ vyhodnocení funkce~$f$.

\s{Poznámka pro ctitele algebry:} Vý¹e uvedená konstrukce není nic jiného, ne¾ popis
homomorfismu~$f$ z~algebry $({\cal S},\emptyset,\varepsilon_1,\ldots,\varepsilon_n,
e_1,\ldots,e_m,\cup,\cdot,{}^*)$ nad mno¾inou~${\cal S}$ v¹ech svazkù do~nìjaké
algebry $(X,{\bf 0},c_1,\ldots,c_n,h_1,\ldots,h_m,\oplus,\otimes,\circledast)$, kde~$X$ je mno¾ina
v¹ech ohodnocení sledù, {\bf 0}, $c_1,\ldots,c_n$ a $h_1,\ldots,h_m$ jsou konstanty,
$\oplus$ a~$\otimes$ binární operace a $\circledast$ unární operace. Prùbìh výpoètu
upraveného algoritmu je pak homomorfním obrazem prùbìhu výpoètu pùvodního algoritmu
pracujícího pøímo se svazky.

\s{Pøíklady:}

\>{\I Nejkrat¹í sled:}
$$\eqalign{
f(\emptyset)&=+\infty \cr
f(\varepsilon)&=0 \cr
f(e)&=\ell(e) \hbox{\quad (délka hrany)} \cr
f(\alpha\cup\beta) &= \min(f(\alpha),f(\beta)) \cr
f(\alpha\beta) &= f(\alpha) + f(\beta) \cr
f(\alpha^*) &= \cases{0 & \hbox{pro $f(\alpha)\ge 0$} \cr -\infty & \hbox{pro $f(\alpha)<0$} \cr} \cr
}$$
(Pokud pøedpokládáme, ¾e v~grafu nejsou záporné cykly, je $f(\alpha^*)$ v¾dy nulové
a dostaneme pøesnì Floydùv-Warshallùv algoritmus.)

\>{\I Nej¹ir¹í cesta} (hranám jsou pøiøazeny ¹íøky, ¹íøka cesty je minimum z~¹íøek hran):
$$\eqalign{
f(\emptyset)&=0 \cr
f(\varepsilon)&=\infty \cr
f(e)&=w(e) \hbox{\quad (¹íøka hrany)} \cr
f(\alpha\cup\beta) &= \max(f(\alpha),f(\beta)) \cr
f(\alpha\beta) &= \min(f(\alpha),f(\beta)) \cr
f(\alpha^*) &= \infty \cr
}$$

\>{\I Pøevod koneèného automatu na regulární výraz:} Vrcholy multigrafu budou odpovídat
stavùm automatu, hrany mo¾ným pøechodùm mezi stavy. Ka¾dou hranu ohodnotíme symbolem
abecedy, po jeho¾ pøeètení automat pøechod provede. Funkce~$f$ pak pøiøadí $uv$-svazku~$\psi$
regulární výraz popisující mno¾inu v¹ech øetìzcù, po jejich¾ pøeètení automat pøejde
ze~stavu~$u$ do stavu~$v$ po pøechodech z~mno¾iny~$\psi$. Vyhodnocování funkce~$f$
odpovídá pøímoèarým operacím s~øetìzci.

\h{Násobení matic}

Øe¹íme-li grafové problémy pomocí matic, nabízí se pou¾ít známé subkubické algoritmy
pro lineárnì algebraické úlohy. Ty jsou obvykle zalo¾eny na efektivním násobení
matic -- dvì matice $n\times n$ mù¾eme vynásobit v~èase $\O(n^2.808)$ Strassenovým
algoritmem~\cite{strassen:matmult}, pøípadnì asymptoticky nejrychlej¹ím známým algoritmem od Coppersmithe
a Winograda~\cite{coppersmith:matmult} v~èase $\O(n^{2.376})$. Slavná hypotéza øíká,
¾e pro ka¾dé $\omega>2$ existuje algoritmus násobící matice se slo¾itostí $\O(n^\omega)$
(blí¾e o~tomto fascinujícím tématu viz \cite{szegedy:matmult}). Oznaème tedy~$\omega$
nejni¾¹í exponent, kterého jsme schopni dosáhnout.

Co se stane, kdy¾ mocníme matici sousednosti~$A$ grafu? V~matici $A^k$ se na pozici
$i,j$ nachází poèet sledù délky~$k$, které vedou z~vrcholu~$i$ do vrcholu~$j$.
(Snadný dùkaz indukcí vynecháváme.) Pro libovolné $k\ge n-1$ jsou tedy v~$(A+E)^k$
(kde $E$ znaèí jednotkovou matici; doplnili jsme tedy do grafu smyèky) nenuly
pøesnì tam, kde z~$i$ do~$j$ vede cesta.

To nám dává jednoduchý algoritmus pro výpoèet matice dosa¾itelnosti~$R$ ($R_{ij}$
je 1 nebo~0 podle toho, zda z~$i$ do~$j$ vede cesta). Do~matice~$A$ doplníme
na diagonálu jednièky a poté ji $\lceil \log_2 n\rceil$-krát umocníme na~druhou.
Abychom se vyhnuli velkým èíslùm, nahradíme po ka¾dém umocnìní nenuly jednièkami.
Celkem tedy provedeme $\O(\log n)$ násobení matic obsahující polynomiálnì velká
èísla, co¾ trvá $\O(n^\omega\log n)$.

Na~tento postup se mù¾eme dívat i~obecnìji:

\s{Definice:} {\I $(\oplus,\otimes)$-souèin} matic~$A,B \in X^{n\times n}$
kde $\oplus$ a~$\otimes$ jsou dvì asociativní binární operace na~mno¾inì~$X$,
je matice~$C$ taková, ¾e
$$
C_{ij} = \bigoplus_{k=1}^n A_{ik}\otimes B_{kj}.
$$
Klasické násobení matic je tedy $(+,\cdot)$-souèin.

\s{Pozorování:} Pokud $A$ a~$B$ jsou matice svazkù ($A_{ij}$ a $B_{ij}$
jsou $ij$-svazky) a $C$ jejich $(\cup,\cdot)$-souèin, pak $C_{ij}$ je
svazek v¹ech sledù vzniklých spojením nìjakého sledu z~$A$ zaèínajícího
v~$i$ a nìjakého sledu z~$B$ konèícího v~$j$.

Podobnì jako v~pøedchozí sekci si tedy mù¾eme poøídit funkci~$f$ pøiøazující
svazkùm hodnoty z~nìjaké mno¾iny~$X$ a operace $\oplus$ a $\otimes$ na~$X$,
pro nì¾ platí $f(\alpha\cup\beta) = f(\alpha) \oplus f(\beta)$ a $f(\alpha\beta)
= f(\alpha) \otimes f(\beta)$. Pak staèí vzít matici popisující ohodnocení
v¹ech sledù délky 0 nebo~1 (to je obdoba matice sousednosti), a provést $\O(\log n)$
$(\oplus,\otimes)$-souèinù k~tomu, abychom znali ohodnocení svazkù sledù délky
právì~$k$ pro nìjaké $k\ge n$.

S~$(\lor,\land)$-souèiny a maticí sousednosti s~jednièkami na diagonále získáme
algoritmus pro výpoèet dosa¾itelnosti (ka¾dý souèin pøitom mù¾eme provést jako
násobení matic následované pøepsáním nenul na jednièky).

Podobnì mù¾eme poèítat i matici vzdáleností: zaèneme s~maticí délek hran doplnìnou o~nuly na~diagonále
a pou¾ijeme $(\min,+)$-souèiny. Tyto souèiny ale bohu¾el neumíme pøevést na klasické násobení matic.
Pøesto je známo nìkolik algoritmù efektivnìj¹ích ne¾ $\Theta(n^3)$, by» pouze o~málo:
napøíklad Zwickùv \cite{zwick:apsp} v~èase $\O(n^3\sqrt{\log\log n}/\log n)$
(zalo¾ený na dekompozici a pøedpoèítání malých blokù) nebo Chanùv \cite{chan:apsp} v~$\O(n^3/\log n)$
(pou¾ívající geometrické techniky). Abychom porazili Floydùv-Warshallùv algoritmus,
potøebovali bychom ov¹em vìt¹í ne¾ logaritmické zrychlení, proto¾e souèinù potøebujeme
vypoèítat logaritmicky mnoho.

Dodejme je¹tì, ¾e pro grafy ohodnocené malými celými èísly je mo¾né vyu¾ít
celou øadu dal¹ích trikù. Zájemce o~tento druh algoritmù odkazujeme na Zwickùv
èlánek~\cite{zwick:apspint}.

\h{Seidelùv algoritmus}

\h{Rozdìl a panuj}

\references
\bye