Bitonicke trideni, nakonec presunuto do kapitoly o hradlech

[ads2.git] / 5-hradla / 5-hradla.tex

\input ../lecnotes.tex

\prednaska{5}{Hradlové sítì}{}

\def\land{\mathbin{\&}}

®ivot nám pøiná¹í stále vìt¹í problémy, které obvykle vy¾adují stále více
výpoèetního výkonu. Rychlost poèítaèù sice posledních pár desetiletí stále
roste exponenciálnì, ale tento rùst se urèitì nìkdy zastaví (napøíklad proto,
¾e vesmír je koneèný) a podle v¹eho u¾ k~tomuto bodu jsme docela blízko
(nará¾íme na nejrùznìj¹í fyzikální limity, napøíklad není jasné, jak vyrábìt
transistory men¹í ne¾ jeden atom).

Jak si tedy s~obrovskými daty poradíme? Jedna z~lákavých mo¾ností je prostì
do~výpoètu zapøáhnout více ne¾ jeden procesor. Ostatnì, vícejádrové procesory,
které dneska najdeme ve~svých stolních poèítaèích, nejsou nic jiného ne¾
víceprocesorový systém na jednom èipu.

Nabízí se tedy obtí¾nou úlohu rozdìlit na nìkolik èástí, nechat ka¾dý
procesor (èi jádro) poèítat jednu z~èástí a nakonec jejich výsledky spojit
dohromady. To se snadno øekne, ale s~výjimkou triviálních úloh u¾ obtí¾nìji
provede.

Pojïme se podívat na nìkolik zajímavých paralelních algoritmù. Abychom se
nemuseli zabývat detaily hardwaru konkrétního víceprocesorového poèítaèe,
zavedeme si pomìrnì abstraktní výpoèetní model, toti¾ hradlové sítì. Tento
model je daleko paralelnìj¹í ne¾ skuteèný poèítaè, ale pøesto se techniky,
které si uká¾eme, dají snadno vyu¾ít i prakticky. Konec koncù sama vnitøní
architektura procesorù se na¹emu modelu velmi podobá.

\h{Hradlové sítì}

Hradlové sítì jsou tvoøeny navzájem propojenými {\I hradly.} Ka¾dé hradlo pøitom
poèítá nìjakou (obecnì libovolnou) funkci $\Sigma^k \rightarrow \Sigma$, kde~$\Sigma$
je koneèná abeceda (stejná pro celou sí») a~$k$ pøirozené èíslo (poèet vstupù hradla,
jinak té¾ jeho {\I arita}).

\s{Pøíklad:} Èasto studujeme hradla {\I booleovská} (pracující nad abecedou $\Sigma=\{0,1\}$).
Ta poèítají jednotlivé logické funkce, mezi nejbì¾nìj¹í patøí:

\itemize\ibull
\:nulární: to jsou konstanty ($\hbox{\csc false}=0$, $\hbox{\csc true}=1$),
\:unární: identita a negace ({\csc not},~$\lnot$),
\:binární: logický souèin ({\csc and},~$\land$), souèet ({\csc or},~$\lor$), \dots
\endlist

Propojením hradel pak vznikne {\I hradlová sí».} Ne¾ vyøkneme formální definici,
pojïme se podívat na pøíklad jedné takové sítì:

\figure{hradlova_sit.eps}{Hradlová sí» -- tøívstupová verze funkce {\I majorita}}{3in}

Na¹e sí» má tøi vstupy, vnitøní booleovská hradla a jeden výstup. Na výstupu
je pøitom jednièka právì tehdy, jsou-li jednièky pøítomny na alespoò dvou
vstupech. Jinými slovy vrací {\I majoritu} ze~vstupù, tedy hodnotu, která
pøeva¾uje.

Obecnì ka¾dá hradlová sí» má nìjaké vstupy, hradla a výstupy.
Ka¾dý vstup hradla je pøitom pøipojen buïto na~nìkterý ze~vstupù sítì
nebo na~výstup jiného hradla. Výstupy hradel mohou být propojeny na~vstupy
dal¹ích hradel (mohou se vìtvit), nebo na výstupy sítì. Pøitom máme zakázáno
vytváøet cykly.

Nyní toté¾ formálnìji:

\s{Definice:} {\I Hradlová sí»} je urèena:
\itemize\ibull
\:{\I abecedou} $\Sigma$, co¾ je nìjaká koneèná mno¾ina symbolù;
\:po dvou disjunktními koneènými mno¾inami \hfil\break
  $I$~({\I vstupy}), $O$~({\I výstupy}) a~$H$~({\I hradla});
\:acyklickým orientovaným multigrafem~$(V,E)$, kde~$V = I \cup O \cup H$;\foot{Proè
  potøebujeme multigraf? Napøíklad chceme-li výstup jednoho hradla pøipojit souèasnì
  na více rùzných vstupù druhého hradla.}
\:zobrazením~$F$, které ka¾dému hradlu $h\in H$ pøiøadí nìjakou funkci~$F(h):
  \Sigma^{a(h)} \rightarrow \Sigma$, co¾ je funkce, kterou toto hradlo vykonává.
  Èíslu $a(h)$ øíkáme {\I arita} hradla~$h$;
\:zobrazením~$z: E \rightarrow {\bb N}$, je¾ o~hranách vedoucích do hradel øíká,
  kolikátému argumentu funkce odpovídají;\foot{Na hranách vedoucích do výstupù
  necháváme hodnotu této funkce nevyu¾itu.}
\endlist

\>Pøitom jsou splnìny následující podmínky:

\itemize\ibull
\:$\forall i \in I: \deg^+(i)=0$ {\sl (do~vstupù nic nevede);}
\:$\forall o \in O: \deg^+(o)=1, \deg^-(o)=0$ {\sl (z~výstupù nic nevede a do~ka¾dého vede právì jedna hrana);}
\:$\forall h \in H: \deg^+(v)=a(v)$ {\sl (do~ka¾dého hradla vede tolik hran, kolik je jeho arita);}
\:$\forall h \in H~\forall j \in \{1,\ldots,a(h)\}$ existuje právì jedna hrana~$e$ taková, ¾e $e$~konèí v~$h$ a~$z(e)=j$
  {\sl (v¹echny vstupy hradel jsou zapojeny).}
\endlist

\s{Poznámka:} Nìkdy se hradlovým sítím také øíká {\I kombinaèní obvody} a pokud pracují
nad abecedou $\Sigma = \{0,1\}$, pak {\I booleovské obvody}.

\s{Definice:} {\I Výpoèet sítì} postupnì pøiøazuje hodnoty z~abecedy~$\Sigma$
vrcholùm grafu. Výpoèet probíhá po~{\I taktech.} V~nultém taktu jsou definovány
pouze hodnoty na~vstupech sítì a v~hradlech arity~0 (konstanty). V~ka¾dém
dal¹ím taktu pak ohodnotíme vrcholy, jejich¾ v¹echny vstupní hrany vedou
z~vrcholù s~ji¾ definovanou hodnotou.

Hodnotu hradla~$h$ pøitom spoèteme funkcí~$F(h)$ z~hodnot na jeho vstupech
uspoøádaných podle funkce~$z(h)$. Výstup sítì pouze zkopíruje hodnotu, která do
nìj po~hranì pøi¹la.

Jakmile budou po~nìjakém poètu taktù definované hodnoty v¹ech výstupù, výpoèet
se zastaví a~sí» vydá výsledek -- ohodnocení výstupù.

Podle prùbìhu výpoètu mù¾eme vrcholy sítì rozdìlit do vrstev:

\s{Definice:} {\I $i$-tá vrstva $S_i$} obsahuje právì takové vrcholy~$v$,
pro~které nejdel¹í z~cest z~libovolného vrcholu se~vstupním stupnìm~0
do~$v$ má délku rovnou právì~$i$.

\figure{vypocet_site.eps}{Prùbìh výpoètu a rozdìlení sítì na vrstvy}{6cm}

\s{Pár pozorování} o~prùbìhu výpoètu:

\itemize\ibull
\:V~$i$-té vrstvì jsou tedy právì ty vrcholy, které poprvé ohodnotíme v~$i$-tém
  taktu výpoètu.
\:Jeliko¾ sí» je acyklická, tak platí, ¾e jakmile vrchol ohodnotíme, u¾ se
  jeho ohodnocení nikdy nemù¾e zmìnit.
\:Kdy¾ se vydáme z~libovolného vrcholu proti smìru hran, po~koneènì mnoha
  krocích dojdeme do~vrcholu s~nulovým vstupním stupnìm (vstupu sítì nebo
  konstantního hradla). Proto ka¾dý vrchol le¾í v~nìjaké vrstvì.
\:Vrstvy jsou disjunktní, tak¾e poèet neprázdných vrstev je nutnì koneèný.
  V~kombinaci s~pøedchozím pozorováním dostaneme, ¾e výpoèet sítì se v¾dy zastaví.
\:Navíc poslední neprázdná vrstva je právì ta, kde se výpoèet zastaví -- z~ka¾dého
  dal¹ího vrcholu by toti¾ bylo mo¾né po~hranách dojít do vrcholu s~výstupním
  stupnìm~0 a jediné takové vrcholy jsou výstupy sítì. Ty by tedy musely také
  le¾et v~nìkteré z~následujících vrstev, co¾ ov¹em není mo¾né, nebo» výpoèet
  se u¾ zastavil.
\endlist

\>To nás motivuje k~následující definici:

\s{Definice:} {\I Èasovou slo¾itost} sítì definujeme jako poèet jejích neprázdných
vrstev. Podobnì {\I prostorovou slo¾itost} urèíme jako poèet hradel v~síti.

\s{Poznámka o~aritách:}
Kdybychom pøipustili hradla s~libovolnì vysokým poètem vstupù, mohli bychom
libovolný problém se vstupem délky~$n$ a výstupem délky~$\ell$ vyøe¹it v~jedné
vrstvì pomocí $\ell$~kusù $n$-vstupových hradel. Ka¾dému bychom prostì
pøiøadili funkci, která poèítá pøíslu¹ný bit výsledku ze~v¹ech bitù vstupu.

To v¹ak není ani realistické, ani pìkné. Jak z~toho ven? Pøijmeme prostì
omezení, ¾e~arity v¹ech hradel budou omezeny nìjakou pevnou konstantou,
tøeba dvojkou. Budeme tedy pou¾ívat výhradnì nulární, unární a binární hradla.

Poznamenejme je¹tì, ¾e realistický model (by» s~trochu jinými vlastnostmi)
by vznikl také tehdy, kdybychom místo arity omezily typy funkcí, øeknìme
na {\csc and}, {\csc or} a {\csc not}.

\s{Poznámka o~uniformitì:}
Dodejme, ¾e od~bì¾ných výpoèetním modelùm, jako je tøeba RAM, se hradlové
sítì li¹í jednou podstatnou vlastností -- ka¾dá sí» zpracovává výhradnì vstupy
jedné konkrétní velikosti. Chceme tedy najít nìjaký obecný pøedpis, který
pro ka¾dou velikost vstupu sestrojí pøíslu¹nou sí». Takovým výpoèetním modelùm
se øíká {\I neuniformní.}

A~co myslíme oním pøedpisem pro sestrojení sítì? Bude to pro nás prostì
nìjaký algoritmus (klasický, neparalelní) bì¾ící v~polynomiálním èase.
(Kdybychom dovolili i pomalej¹í algoritmy, mohli bychom bìhem konstrukce
provádìt nìjaký nároèný pøedvýpoèet a jeho výsledek zabudovat do struktury
sítì.)

\h{Hledá se jednièka}

Abychom si nový výpoèetní model osahali, zkusme nejprve sestrojit obvod,
který zjistí, zda se mezi jeho~$n$ vstupy vyskytuje alespoò jedna jednièka.
Jinými slovy vypoèítat $n$-vstupovou funkci {\csc or}.

\>{\I První øe¹ení:} zapojíme hradla za~sebe (sériovì). Èasová i prostorová
slo¾itost èiní $\Theta(n)$. Zde ov¹em vùbec nevyu¾íváme toho, ¾e by mohlo poèítat více
hradel souèasnì.

\>{\I Druhé øe¹ení:} Hradla budeme spojovat do~dvojic, pak výsledky z~tìchto dvojic opìt
do~dvojic a tak dále. Díky paralelnímu zapojení dosáhneme èasové slo¾itosti $\Theta(\log n)$,
prostorová slo¾itost zùstane lineární.

\twofigures{hloupy_or.eps}{Sériové øe¹ení}{1in}{chytry_or.eps}{Paralelní øe¹ení}{3in}

\h{Sèítání binárních èísel}

Zajímavìj¹í úlohou, její¾ paralelizace u¾ nebude tak triviální, je obyèejné
sèítání dvojkových èísel. Mìjme dvì èísla $x$ a $y$ zapsané ve~dvojkové soustavì. Jejich èíslice oznaème
$x_{n-1}\ldots x_0$ a $y_{n-1}\ldots y_0$, kde $i$-tý øád má váhu $2^i$.

K~seètení se~ihned nabízí pou¾ít starý dobrý \uv{¹kolní algoritmus sèítání pod sebou}, který
funguje ve~dvojkové soustavì stejnì dobøe jako v~desítkové. Sèítáme èísla zprava doleva,
v¾dy seèteme~$x_i$ s~$y_i$ a~pøièteme pøenos z~ni¾¹ího øádu. Tím dostaneme jednu èíslici
výsledku a~pøenos do~vy¹¹ího øádu. Formálnì bychom to mohli zapsat tøeba takto:
$$
z_i=x_i \oplus y_i \oplus c_i,
$$
kde $z_i$ je $i$-tá èíslice souètu, $\oplus$ znaèí operaci {\csc xor} (souèet modulo~2) a~$c_i$ je {\I pøenos}
z~$(i-1)$-ního øádu do~$i$-tého. Pøenos pøitom nastane tehdy, pokud se~nám potkají
dvì jednièky pod~sebou, nebo kdy¾ se~vyskytne alespoò jedna jednièka a~k~tomu
pøenos z~ni¾¹ího øádu. To je tehdy, kdy¾ mezi tøemi xorovanými èíslicemi jsou alespoò
dvì jednièky -- k~tomu se nám hodí ji¾ známý obvod pro majoritu:
$$
\eqalign{
c_{0} &= 0, \cr
c_{i+1} &= (x_i~\&~y_i)\lor(x_i~\&~c_i)\lor(y_i~\&~c_i).\cr
}
$$

O~tomto pøedpisu snadno doká¾eme, ¾e funguje (zkuste si to), nicménì pokud podle
nìj postavíme hradlovou sí», bude pomìrnì pomalá. Sí» si mù¾eme pøedstavit tak,
¾e je slo¾ena z~nìjakých podsítí (\uv{krabièek}), které budou mít na~vstupu $x_i$,
$y_i$ a~$c_i$ a jejich výstupem bude $z_i$ a~$c_{i+1}$:

\figure{hloupe_scitani.eps}{Sèítání ¹kolním algoritmem}{1.5in}

Ka¾dá krabièka má sice uvnitø konstantní hloubku, ale její výstupy závisí na pøenosu
vypoèítaném pøedcházející krabièkou. Jednotlivé krabièky tedy musí urèitì le¾et
v~rùzných vrstvách sítì. Celkovì má tedy sí» $\Theta(n)$ hladin a také $\Theta(n)$
hradel. Oproti sekvenènímu algoritmu jsme si tedy vùbec nepomohli.

\h{Pøenosy v~blocích}

Jak sèítání zrychlit? To, co nás pøi sèítání brzdí, jsou evidentnì pøenosy mezi
jednotlivými øády. Kdybychom je dokázali spoèítat rychleji, máme vyhráno -- souèet
u¾ získáme jednoduchým {\csc xor}ováním, které zvládneme paralelnì v~èase $\Theta(1)$.
Uva¾ujme tedy nad zpùsobem, jak pøenosy spoèítat paralelnì.

Podívejme se na~libovolný {\I blok} v~na¹em souètu. Tak budeme øíkat èíslùm
$x_j\ldots x_i$ a $y_j\ldots y_i$ v~nìjakém intervalu indexù $\left<i,j\right>$. Pøenos $c_{j+1}$ vystupující z~tohoto bloku závisí mimo hodnot sèítancù u¾ pouze na~pøenosu $c_{i}$, který do bloku vstupuje.

\figure{blok_scitani.eps}{Blok souètu}{3in}

Pro konkrétní sèítance se tedy mù¾eme na blok dívat jako na nìjakou funkci,
která dostane jednobitový vstup (pøenos zespoda) a vydá jednobitový výstup (pøenos
nahoru). To je nám milé, nebo» takové funkce existují pouze ètyøi:
$$\vbox{\halign{$f(x) = #$\hfil &\qquad # \hfil\cr
0&konstantní {\bo 0}, blok {\I pohlcuje} pøenos \cr
1&konstantní {\bo 1}, blok {\I vytváøí} pøenos \cr
x&identita (znaèíme {\tt <}), blok {\I kopíruje} pøenos \cr
\neg{x}&negace, uká¾eme, ¾e nenastane \cr
}}$$
Této funkci budeme øíkat {\I chování} pøíslu¹ného bloku.

{\I Jednobitové bloky} se pøitom chovají velice jednodu¹e:

\figure{bloky_1bit.eps}{Tabulka triviálních blokù}{1.1in}

Blok prvního druhu v¾dy pøedává nulový pøenos, a» u¾ do~nìj vstoupí jakýkoliv.
Poslední blok naopak sám o~sobì pøenos vytváøí, a» dostane cokoliv.
Oba bloky prostøední se chovají tak, ¾e samy o~sobì ¾ádný pøenos nevytvoøí,
ale~pokud do~nich nìjaký pøijde, tak~také odejde.

{\I Vìt¹í bloky} mù¾eme rozdìlit na èásti a podle jejich chování urèit,
jak se chová celý blok. Mìjme blok~$B$ slo¾ený z~men¹ích podblokù~$H$ (horní)
a~$D$ (dolní), jejich¾ chování u¾ známe. Z~toho mù¾eme odvodit, jak se chová celý blok:

\figure{tabulka_skladani_bloku.eps}{Skládání chování blokù}{1.3in}

Pokud vy¹¹í blok pøenos pohlcuje, pak a»~se u¾~ni¾¹í blok chová jakkoli, slo¾ení
obou blokù musí v¾dy pohlcovat. V~prvním øádku tabulky jsou tudí¾ nuly. Analogicky,
pokud vy¹¹í blok generuje pøenos, tak~ten ni¾¹í na~tom nic nezmìní. V~druhém
øádku tabulky jsou tedy samé jednièky. Zajímavìj¹í pøípad nastává, pokud vy¹¹í blok
kopíruje -- tehdy zále¾í èistì na~chování ni¾¹ího bloku.

V¹imnìme si, ¾e~skládání chování blokù je vlastnì úplnì obyèejné skládání
funkcí. Nyní bychom mohli prohlásit, ¾e~budeme poèítat nad~tøíprvkovou abecedou,
a~¾e~celou tabulku doká¾eme spoèítat jedním jediným hradlem. Pojïme si v¹ak
rozmyslet, jak~bychom takovouto vìc popsali èistì binárnì. Jak tedy tyto tøi stavy
popisovat pouze nìkolika bity?

Evidentnì nám k tomuto binárnímu zakódování tøí stavù budou staèit bity dva.
Oznaème si je jako $p$ a $q$. Tato dvojice mù¾e nabývat hned ètyø mo¾ných hodnot,
kterým pøiøadíme tøi mo¾ná chování bloku. Toto kódování mù¾eme zvolit zcela
libovolnì, ale pokud si ho zvolíme ¹ikovnì, u¹etøíme si dále práci pøi kompozici.
Zvolme si tedy kódování takto:
$$
  (1,*) = \hbox{\tt <} \qquad
  (0,0) = \hbox{\bo 0} \qquad
  (0,1) = \hbox{\bo 1}.
$$
Tomu, ¾e blok kopíruje, odpovídá dvojice $p = 1$, $q = \<cokoliv.>$ V~ostatních
pøípadech bude~$p$ nulové a~$q$ nám bude øíkat, co je na~výstupu pøíslu¹ného bloku.
Jinými slovy $p = 0$ znamená, ¾e funkce je konstanta, pøièem¾ $q$ øíká jaká; naproti
tomu $p = 1$~znamená, ¾e funkce je identita, a»~u¾~je $q$ cokoli.

V~tomto kódování mù¾eme na¹i tabulku popsat následovnì:
$$\eqalign{
   p_B &= p_H \land p_D,\cr
   q_B &= (\neg{p_H} \land q_H) \lor (p_H \land q_D).
}$$

\h{Paralelní sèítání}

Z~popisu chování blokù u¾ je jenom krùèek k~paralelnímu pøedpovídání pøenosù,
a~tím i k~paralelní sèítaèce. Bez újmy na~obecnosti budeme pøedpokládat,
¾e~poèet bitù vstupních èísel je mocnina dvojky, jinak si vstup doplníme
nulami, co¾ výsledný èas bìhu algoritmu zhor¹í maximálnì konstanta-krát.

Algoritmus bude rozdìlen na~dvì èásti. V~první èásti spoèítá chování
v¹ech {\I pøirozených blokù} -- tak budeme øíkat blokùm, jejich¾ velikost
je mocnina dvojky a pozice je dìlitelná velikostí. Nejprve v~konstantním
èase spoèítá chování blokù velikosti~1, ty pak spojí do dvojic, dvojice
zase do dvojic atd., obecnì v~$i$-tém kroku spoète chování v¹ech pøirozených
blokù velikosti~$2^i$.

V~druhé èásti pak dopoèítává pøenosy, a~to tak, aby v~$i$-tém kroku byly známy
pøenosy do~øádù dìlitelných~$2^{\log n - i}$. V~nultém kroku tedy pouze $c_0=0$
a~$c_n$, který spoèítá z~$c_0$ pomocí chování bloku $\left< 0,n \right>$.
V~prvním kroku pomocí $\left< 0,n/2 \right>$ dopoèítá $c_{n/2}$,
v~druhém pomocí $\left< 0,n/4 \right>$ spoèítá $c_{n/4}$ a pomocí
$\left< n/2,3/4\cdot n \right>$ dostane $c_{3/4\cdot n}$ atd.
Obecnì v~$i$-tém kroku pou¾ívá chování blokù velikosti $2^{\log n - i}$.

\s{Sèítací sí»} tedy bude vypadat takto:
\algo
\:$\Theta(1)$ hladin výpoètu chování blokù velikosti~1.
\:$\Theta(\log n)$ hladin poèítajících chování pøirozených blokù velikosti~$2^i$.
\:$\Theta(\log n)$ hladin dopoèítávajících pøenosy \uv{zahu¹»ováním}.
\:$\Theta(1)$ hladin na samotné seètení: $\forall i: z_i = x_i \oplus y_i \oplus c_i$.
\endalgo

\figure{deleni_bloku.eps}{Výpoèet pøenosu}{2.5in}

Algoritmus tedy pracuje v~èase $\Theta(\log n)$. Hradel je pou¾ito lineárnì: pøi
výpoètu chování blokù na jednotlivých hladinách poèet hradel exponenciálnì klesá
od~$n$ k~1, bìhem zahu¹»ování pøenosù naopak exponenciálnì stoupá od~1 k~$n$.
Obì geometrické øady se seètou na $\Theta(n)$.

\h{Paralelní násobení}

Je¹tì si rozmysleme, jak rychle by bylo mo¾né èísla násobit. Opìt se inspirujeme
¹kolním algoritmem: pokud násobíme dvì $n$-ciferná èísla $x$ a~$y$, uvá¾íme
v¹ech~$n$ posunutí èísla~$y$, ka¾dé z~nich vynásobíme pøíslu¹nou èíslicí v~$y$
a výsledky posèítáme.

\figure{skolni_nasobeni.eps}{©kolní násobení}{2in}

Ve~dvojkové soustavì je to je¹tì jednodu¹¹í: násobení jednou èíslicí je prostý
{\csc and.} Paralelnì tedy vytvoøíme v¹echna posunutí a spoèítáme v¹echny {\csc and}y.
To v¹e stihneme za 1~takt výpoètu.

Zbývá seèíst $n$~èísel, z~nich¾ ka¾dé má $\Theta(n)$ bitù. Mohli bychom opìt
pou¾ít osvìdèený trik: sèítat dvojice èísel, pak dvojice souètù dvojic, atd.
Taková sí» by mìla tvar binárního stromu hloubky $\log n$, jeho¾ ka¾dý vrchol
obsahuje jednu sèítaèku a na tu, jak víme, postaèí $\Theta(\log n)$ hladin.
Celý výpoèet tedy bì¾í v~èase $\Theta(\log^2 n)$.

Jde to ale rychleji, pou¾ijeme-li jednoduchý, témìø kouzelnický trik.
Sestrojíme {\I kompresor} -- to bude obvod konstantní hloubky, který na~vstupu
dostane tøi èísla a vypoète z~nich dvì èísla mající stejný souèet jako zadaná
trojice.

K~èemu je to dobré? Máme-li seèíst $n$~èísel, v~konstantním èase doká¾eme tento
úkol pøevést na seètení $\lceil 2/3\cdot n\rceil$ èísel, to pak opìt v~konstantním èase
na seètení $\lceil (2/3)^2\cdot n\rceil$ èísel atd., a¾ nám po $\lceil\log_{3/2} n\rceil = \Theta(\log n)$ krocích
zbudou dvì èísla a ta seèteme klasickou sèítaèkou. Zbývá vymyslet kompresor.

\s{Konstrukce kompresoru:}
Oznaème vstupy kompresoru $x$, $y$ a~$z$ a výstupy $p$ a~$q$.
Pro ka¾dý øád~$i$ spoèteme souèet $x_i + y_i + z_i$. To je nìjaké
dvoubitové èíslo, tak¾e mù¾eme jeho ní¾¹í bit prohlásit za~$p_i$
a vy¹¹í za~$q_{i+1}$.

Jinými slovy jsme v¹echna tøi èísla normálnì seèetli, ale místo abychom
pøenosy posílali do vy¹¹ího øádu, vytvoøili jsme z~nich dal¹í èíslo,
které má být k~výsledku èasem pøièteno.

\figure{add_3to2.eps}{Kompresor}{0.9in}

\s{Shrnutí:} Na¹e sí» pro paralelní násobení pracuje v~èase $\Theta(\log n)$
-- nejdøíve v~konstantním èase vytváøíme mezivýsledky, pak pou¾ijeme $\Theta(\log n)$
hladin kompresorù konstantní hloubky a nakonec jednu sèítaèku hloubky $\Theta(\log n)$.
Jistou vadou na kráse ov¹em je, ¾e na to potøebujeme $\Theta(n^2)$ hradel.

\h{Tøídící sítì}

Je¹tì zkusíme paralelizovat jeden klasický problém, toti¾ tøídìní.
Budeme k~tomu pou¾ívat {\I komparátorovou sí»} -- to je hradlová sí»
slo¾ená z~{\I komparátorù.}

Jeden komparátor umí porovnat dvì hodnoty a~rozhodnout, která z~nich je vìt¹í
a~která men¹í. Nevrací v¹ak booleovský výsledek jako bì¾né hradlo, ale má dva
výstupy: na~jednom z~nich vrací men¹í ze~vstupních hodnot a~na~druhém tu vìt¹í.

\figure{sortnet.0}{Komparátor}{0.7in}

V~na¹em formalismu hradlových sítí bychom mohli komparátor reprezentovat dvojicí
hradel: jedno z~nich by poèítalo minimum, druhé maximum. Hodnoty, které tøídíme,
bychom prostì pova¾ovali za prvky abecedy.\foot{Komparátorovou sí» mù¾eme také snadno
pøelo¾it na booleovský obvod. Ka¾dý prvek abecedy reprezentujeme èíslem
o~$b=\lceil\log_2 \Sigma\rceil$ bitech. Zpùsobem podobným paralelní sèítaèce
lze z~booleovských hradel sestrojit komparátor hloubky $\Theta(\log b)$. Zkuste to.}

Je¹tì se dohodnìme, ¾e výstupy komparátorù se nikdy nebudou vìtvit. Ka¾dý
z~nich pøivedeme na~vstup jiného komparátoru nebo na~výstup sítì. Vìtvení
by nám ostatnì k~nièemu nebylo, proto¾e na~výstupu potøebujeme vydat stejný
poèet hodnot, jako byl na vstupu, a nemáme ¾ádné hradlo, kterým bychom mohli
pøípadných více vìtví slouèit opìt do~jedné.

\s{Pøíklad:} Zkusíme do øeèi komparátorových sítí pøelo¾it {\I bublinkové tøídìní.}
Z~nìj získáme obvod na~levém obrázku (¹ipky pøedstavují jednotlivé komparátory).
Toto nakreslení ov¹em ponìkud klame -- pokud sí» necháme poèítat, mnohá porovnání
budou probíhat paralelnì. Skuteèný prùbìh výpoètu znázoròuje pravý obrázek,
na~nìm¾ jsme v¹echny operace provádìné souèasnì znázornili vedle sebe.
Ihned vidíme, ¾e paralelní bublinkové tøídìní pracuje v~èase $\Theta(n)$
a potøebuje kvadratický poèet komparátorù.

\twofigures{sortnet.1}{Bubblesort}{143pt}{sortnet.2}{Skuteèný prùbìh výpoètu}{143pt}

Nyní si pøedvedeme rychlej¹í tøídící algoritmus. Pùjdeme na nìj jak se øíká \uv{od lesa}.
Nejdøíve vymyslíme sí», která bude umìt tøídit jenom nìco -- toti¾ bitonické posloupnosti.
Pak z~ní teprve sestrojíme obecné tøidìní. Bez újmy na obecnosti pøitom budeme
pøedpokládat, ¾e ka¾dé dva prvky na vstupu jsou navzájem rùzné a ¾e velikost vstupu
je mocnina dvojky.

\s{Definice:} Posloupnost $x_0,\dots,x_{n-1} $ je {\I èistì bitonická,} pokud ji mù¾eme
rozdìlit na nìjaké pozici $k\in\{0, \dots, n-1\}$ tak, ¾e prvky $x_0,\ldots,x_k$ tvoøí rostoucí
poslopnost, zatímco prvky $x_k,\ldots,x_{n-1}$ tvoøí posloupnost klesající.

\s{Definice:} Posloupnost $x_0,\dots,x_{n-1}$ je {\I bitonická}, pokud ji lze získat
rotací (cyklickým posunutím) nìjaké èistì bitonické posloupnosti. Jinými slovy pokud existuje
$0\le j<n$ takové, ¾e posloupnost $x_j,x_{(j+1) \bmod n},\dots, x_{(j+n-1) \bmod n}$
je èistì bitonická.

\s{Definice:} {\I Separátor øádu~$n$} je komparátorová sí»~$S_n$ se vstupy $x_0,\ldots,x_{n-1}$
a výstupy $y_0,\ldots,y_{n-1}$, která dostane-li na~vstupu bitonickou posloupnost,
vydá na výstup její permutaci s~následujícími vlastnostmi:

\itemize\ibull
\:$y_0,\ldots,y_{n/2-1}$ a $y_{n/2},\ldots,y_{n-1}$ jsou bitonické posloupnosti;
\:$y_i < y_j$, kdykoliv $0\le i<n/2$ a $n/2\le j<n$.
\endlist

\>Jinak øeèeno, separátor rozdìlí bitonickou posloupnost na dvì polovièní
a navíc jsou v¹echny prvky v~první polovinì men¹í ne¾ v¹echny v~té druhé.

\s{Lemma:} Pro ka¾dé sudé~$n$ existuje separátor~$S_n$ konstantní hloubky,
slo¾ený z~$\Theta(n)$ komparátorù.

Dùkaz tohoto lemmatu si necháme na konec kapitoly. Nejprve pøedvedeme, k~èemu jsou
separátory dobré.

\s{Definice:} {\I Bitonická tøídièka øádu~$n$} je komparátorová sí»~$B_n$,
která dostane-li na vstupu bitonickou posloupnost délky~$n$, vydá ji setøídìnou.

\s{Lemma:} Pro libovolné $n=2^k$ existuje bitonická tøidièka~$B_n$ hloubky $\Theta(\log n)$
s~$\Theta(n\log n)$ komparátory.

\proof
Konstrukce bitonické tøidièky je snadná: nejprve separátorem~$S_n$ zadanou bitonickou
posloupnost rozdìlíme na dvì bitonické posloupnosti délky $n/2$,
pak ka¾dou z~nich separátorem~$S_{n/2}$ na dvì délky $n/4$, atd.,
a¾ získáme jednoprvkové bitonické posloupnosti ve~správném poøadí.
Celkem pou¾ijeme~$\log n$ hladin slo¾ených z~$n$ separátorù, ka¾dá
hladina má pøitom konstantní hloubku.
\qed

\figure{sortnet.5}{Bitonická tøidièka $B_n$}{\epsfxsize}

Bitonické tøidièky nám nyní pomohou ke~konstrukci tøidièky na obecné posloupnosti.
Ta bude zalo¾ena na tøídìní sléváním -- nejprve se tedy musíme nauèit slít dvì
setøídìné posloupnosti do jedné.

\s{Definice:} {\I Slévaèka øádu~$n$} je komparátorová sí»~$M_n$ s~$2\times n$
vstupy a~$n$ výstupy, která dostane-li dvì setøídìné posloupnosti délky~$n$,
vydá posloupnost vzniklou jejich slitím.

\s{Lemma:} Pro $n=2^k$ existuje slévaèka~$M_n$ hloubky $\Theta(\log n)$
s~$\Theta(n\log n)$ komparátory.

\proof
Staèí jednu vstupní posloupnost obrátit a \uv{pøilepit} za tu druhou. Tím vznikne
bitonická posloupnost, jí¾ setøídíme bitonickou tøidièkou~$B_{2n}$.
\qed

\s{Definice:} {\I Tøídící sí» øádu~$n$} je komparátorová sí»~$T_n$ s~$n$~vstupy
a~$n$~výstupy, která pro ka¾dý vstup vydá jeho setøídìnou permutaci.

\s{Lemma:} Pro $n=2^k$ existuje tøídící sí»~$T_n$ hloubky $\Theta(\log^2 n)$
slo¾ená z~$\Theta(n\log^2 n)$ komparátorù.

\proof
Sí» bude tøídit sléváním. Vstup rozdìlí na~$n$ jednoprvkových posloupností.
Ty jsou jistì setøídìné, tak¾e je slévaèkami~$M_1$ mù¾eme slít do dvouprvkových
setøídìných posloupností. Na ty pak aplikujeme slévaèky $M_2$, $M_4$, \dots, $M_{n/2}$,
a¾ v¹echny èásti slijeme do jedné, setøídìné.

Celkem provedeme $\log n$~krokù slévání, $i$-tý z~nich obsahuje slévaèky $M_{2^i}$
a ty, jak u¾ víme, mají hloubku $\Theta(i)$. Celkový poèet vrstev tedy èiní
$\Theta(1+2+3+\ldots+\log n) = \Theta(\log^2 n)$. Ka¾dý krok pøitom potøebuje
$\Theta(n\log n)$ komparátorù, co¾ dává celkem $\Theta(n \log^2 n)$ komparátorù.
\qed

\figure{sortnet.6}{Tøidièka $T_8$}{\epsfxsize}

\s{Konstrukce separátoru:} Zbývá dokázat, ¾e existují separátory konstantní
hloubky. Vypadají pøekvapivì jednodu¹e: pro $i=0,\ldots,n/2-1$ zapojíme
komparátor se vstupy $x_i$, $x_{i+n/2}$, jeho¾ minimum pøivedeme na~$y_i$
a maximum na~$y_{i+n/2}$.

\figure{sortnet.3}{Konstrukce separátoru}{\epsfxsize}

Proè separátor separuje? Nejprve pøedpokládejme, ¾e vstupem je èistì bitonická
posloupnost. Oznaème~$m$ polohu maxima této posloupnosti; maximum bez újmy
na obecnosti le¾í v~první polovinì (jinak celý dùkaz provedeme \uv{zrcadlovì}).
Oznaème dále~$k$ nejmen¹í index, pro který komparátor mezi $x_k$ a~$x_{k+n/2}$
hodnoty prohodí, tedy $k=\min \{ i \mid x_i > x_{i+n/2} \}.$

Jeliko¾ maximum je jedineèné, musí platit $x_m > x_{m+n/2}$, tak¾e~$k$
existuje a navíc $0\le k\le m < n/2$. Také platí, ¾e pro ka¾dé~$i$ mezi
$k$ a~$n/2$ u¾ komparátory musí prohazovat, proto¾e od~$x_k$ je posloupnost
a¾ do konce klesající, tak¾e $x_i > x_{i+n/2}$.

Separátor se tedy chová velice jednodu¹e: první polovina výstupu vznikne
slepením rostoucího úseku $x_0,\ldots,x_{k-1}$ s~klesajícím úsekem $x_{n/2+k},\ldots,x_{n-1}$;
druhou polovinu tvoøí spojení klesajícího úseku $x_{n/2},\ldots,x_{n/2+k-1}$, rostoucího
úseku $x_k,\ldots,x_m$ a klesajícího úseku $x_m,\ldots,x_{n/2-1}$. První polovina
je èistì bitonická a jeliko¾ $x_{n/2-1} > x_{n/2}$, je druhá polovina bitonická
(ov¹em obvykle ne èistì).

\figure{sortnet.7}{Ilustrace èinnosti separátoru}{\epsfxsize}

Doplòme, co se stane, pokud vstup není èistì bitonický. Zde vyu¾ijeme
toho, ¾e pokud vstup separátoru zrotujeme o~$p$ pozic, dostaneme o~$p$ pozic
zrotované i obì poloviny výstupu. Podle definice ov¹em pro ka¾dou bitonickou
posloupnost existuje její rotace, která je èistì bitonická, a~pro ní¾, jak
u¾ víme, separátor funguje. Tak¾e pro neèistou bitonickou posloupnost musí
vydat výsledek pouze zrotovaný, co¾ ov¹em na jeho správnosti nic nemìní.
\qed

Ukázali jsme tedy paralelní tøídící algoritmus o~slo¾itosti $\Theta(\log^2 n)$
slo¾ený z~$\Theta(n\log^2 n)$ komparátorù.

Dodejme je¹tì, ¾e existuje i~tøídicí algoritmus, kterému staèí jen $\O(\log n)$
hladin. Jeho multiplikativní konstanta je v¹ak pøíli¹ veliká, tak¾e je v~praxi
nepou¾itelný.

\bye