2007/8-fft/8-fft.tex

   1 \input lecnotes.tex
   2 \prednaska{8}{Fourierova transformace}{(K.Jakubec, M.Polák a G.Ocsovszky)}
   3
   4 Násobení polynomù mù¾e mnohým pøipadat jako pomìrnì (algoritmicky) snadný problém. Asi ka¾dého hned napadne \uv{hloupý} algoritmus -- vezmeme koeficienty prvního polynomu a vynásobíme ka¾dý se v¹emi koeficienty druhého polynomu a pøíslu¹nì u toho seèteme i exponenty (stejnì jako to dìláme, kdy¾ násobíme polynomy na papíøe). Pokud stupeò prvního polynomu je $n$ a druhého $m$, strávíme tím èas $\Omega(mn)$. Pro $m=n$ je to kvadraticky pomalé. Na první pohled se mù¾e zdát, ¾e rychleji to prostì nejde (pøeci musíme v¾dy vynásobit \uv{ka¾dý s ka¾dým}). Ve skuteènosti to ale rychleji fungovat mù¾e, ale k tomu je potøeba znát trochu tajemný algoritmus FFT neboli {\I Fast Fourier Transform}.
   5
   6
   7 \ss{Trochu algebry na zaèátek:}
   8 \>Libovolný polynom $P$ stupnì $n$ mù¾e být reprezentován dvìma rùznými zpùsoby:
   9
  10 \itemize\ibull
  11 \:svými koeficienty, èili èísly $p_{0}, p_{1}, \ldots ,p_{n}$, nebo
  12 \:svými hodnotami v $n$ rùzných bodech $x_{0}, x_{1}, \ldots , x_{n}$, èili èísly $P(x_{0}),$ $P(x_{1}),$ $\ldots , P(x_{n})$.
  13 \endlist
  14
  15 \ss{Konvence:}
  16 \>Celé polynomy oznaèujeme velkými písmeny, jednotlivé èleny polynomù pak pøíslu¹nými malými písmeny. (Pø.: Polynom $W$ stupnì $n$ má koeficienty $w_{0}, w_{1}, w_{2},\ldots, w_{n}$.)
  17
  18 Pov¹imnìme si jedné skuteènosti -- máme-li dva polynomy $A$ a $B$ stupnì $n$ a body $x_{0}, \ldots, x_{k}$, dále polynom $C=A \cdot B$ (stupnì $2n$), pak platí $C(x_{k}) = A(x_{k}) \cdot B(x_{k}), k = 0,1,2, \ldots, n.$ Toto èiní tento druhý zpùsob reprezentace polynomu velice atraktivním pro násobení. Problémem je, ¾e typicky máme polynom zadaný koeficienty a ne hodnotami v bodech. Tím pádem potøebujeme nìjaký hodnì rychlý algorimtus (tj. rychlej¹í ne¾ kvadratický, jinak bychom si nepomohli oproti hloupému algoritmu) na pøevod polynomu z jedné reprezentace do druhé a zase zpìt.
  19
  20 Dále bychom si mìli uvìdomit, ¾e stupeò na¹eho výsledného polynomu $C$ bude $\leq 2n$ (kde $n$ je stupeò výchozích polynomù). Pokud chceme polynom $C$ reprezentovat pomocí jeho hodnot v bodech, musíme tedy vzít alespoò $2n$ bodù. Tímto konèí malá algebraická vsuvka.
  21
  22 \s{Idea, jak by mìl algoritmus pracovat:}
  23 \algo
  24 \:Vybereme $2n$ bodù $x_{0}, x_{1}, \ldots , x_{2n-1}$.
  25 \:V tìchto bodech vyhodnotíme polynomy $A$ a $B$.
  26 \:Nyní ji¾ v lineárním èase získáme hodnoty polynomu $C$ v tìchto bodech (viz vý¹e).
  27 \:Pøevedeme hodnoty polynomu $C$ na jeho koeficienty.
  28 \endalgo
  29
  30 \>Je asi vidìt, ¾e klíèové jsou kroky 2 a 4. Vybrání bodù jistì stihneme pohodlnì v lineárním èase a vynásobení samotných hodnot té¾ (máme $2n$ bodù a $C(x_{k}) = A(x_{k}) \cdot B(x_{k}), k = 0,1,2, \ldots , 2n-1$, tak¾e na to nepotøebujeme více ne¾ $2n$ násobení).
  31
  32 Celý trik spoèívá v chytrém vybrání onìch bodù, ve kterých budeme polynomy vyhodnocovat. Je na to potøeba vìdìt pár zajímavostí o komplexních èíslech, na webové stránce pøedná¹ky jsou k dispozici slajdy, zde to bude zapsáno o trochu struènìji.
  33
  34 \ss{  Vyhodnocení polynomu metodou Rozdìl a panuj (algoritmus FFT):}
  35 Mìjme polynom $P$ øádu $n$ a chtìjme jej vyhodnotit v $n$ bodech. Vybereme si body tak, aby byly spárované, èili $\pm x_{0}, \pm x_{1}, \ldots , \pm x_{n/2-1} $. To nám výpoèet urychlí, proto¾e pak se druhé mocniny $x_{j}$ shodují s druhými mocninami $-x_{j}$.
  36
  37 Polynom $P$ rozlo¾íme na dvì èásti, první obsahuje èleny se sudými exponenty, druhá s lichými:
  38 $P(x) = (p_{0}x^{0} + p_{2}x^{2} + \ldots + p_{n-2}x^{n-2}) + (p_{1}x^{1} + p_{3}x^{3} + \ldots + p_{n-1}x^{n-1})$.
  39
  40 $S(x^{2}) = p_{0}x^{0} + p_{2}x^{2} + \ldots + p_{n - 2}x^{n - 2}$,
  41 $L(x^{2}) = p_{1}x^{1} + p_{3}x^{3} + \ldots + p_{n - 1}x^{n - 1}$
  42
  43 \>Tak¾e obecnì $P(x) = S(x^{2}) + xL(x^{2})$ a $P(-x) = S(x^{2}) - xL(x^{2})$.
  44 Jinak øeèeno, vyhodnocování $P$ v $n$ bodech se nám smrskne na vyhodnocení $S(x)$ a $L(x)$ (oba jsou polynomy stupnì $n/2$ a vyhodnocujeme je nyní v $x^{2}$) v $n/2$ bodech (proto¾e $(x_{i})^{2} = (-x_{i})^{2}$).
  45
  46 \s{Pøíklad:}
  47 $3 + 4x + 6x^{2} + 2x^{3} + x^{4} + 10x^{5} = (3 + 6x^{2} + x^{4}) + x(4 + 2x^{2} + 10x^{4})$.
  48
  49
  50 Teï nám ov¹em vyvstane problém s oním párováním -- druhá mocina pøece nemù¾e být záporná a tím pádem u¾ v druhé úrovni rekurze body spárované nebudou. Z tohoto dùvodu musíme pou¾ít komplexní èísla -- tam druhé mocniny záporné býti mohou. Jako $x_{0}, \ldots , x_{n-1} $ si zvolíme mocniny $n$-té primitvní odmocniny z jedné (oznaèíme si ji jako $\omega$). Máme $n$ $n$-tých primitivních odmocnin z jednièky, rovnomìrnì rozesetých po jednotkové kru¾nici, BÚNO $n=2^{k}, k \in N$ (jinak viz slajdy Martina Mare¹e). Jednotlivé mocniny vypadají takto: $1, \omega, \omega^{2}, \ldots , \omega^{n - 1} $, kde $\omega = e^{2 \pi i/ n}$.
  51
  52 \s{Dvì poznámky:}
  53 \itemize\ibull
  54 \:primitivní $n$-té odmocniny z jednièky jsou spárované, èili $\omega^{j} = -\omega^{n/2 + j}$,
  55 \:umocníme-li v¹echny na druhou, vznikne nám $n/2$ $n/2$-tých odmocnin z jedné, které jsou i nadále spárované.
  56 \endlist
  57
  58 \ss{Celý algoritmus bude vypadat takto:}
  59 \>FFT($P$, $ \omega$)
  60
  61 \>{\sl Vstup:} $p_{0}, \ldots , p_{n-1}$, koeficienty polynomu $P$, a $\omega$, $n-$tá odmocina z jedné.
  62
  63 \>{\sl Výstup:} Hodnoty polynomu v~bodech $1, \omega, \omega^{2}, \ldots , \omega^{n - 1}$, èili èísla $P(1), P(\omega), P(\omega^{2}),$ $\ldots , P(\omega^{n - 1})$.
  64
  65 \algo
  66 \:Pokud $n = 1$, vrátíme $P_{0}$ a skonèíme.
  67 \:Jinak rozdìlíme $P$ na sudé a liché koeficienty a rekurzivnì zavoláme FFT($S$, $\omega^{2}$) a FFT($L$, $\omega^{2}$).
  68 \:Pro $j = 0, \ldots , n/2 - 1$ spoèítáme:
  69
  70 $P(\omega^{j}) = S(\omega^{2j}) + \omega^{j} \cdot L(\omega^{2j})$.
  71
  72 $P(\omega^{j+n/2}) = S(\omega^{2j}) - \omega^{j} \cdot L(\omega^{2j})$.
  73
  74 $j$ je z intervalu $[0,  {n \over 2}-1]$
  75
  76 \endalgo
  77
  78
  79 \s{Èasová slo¾itost:}
  80 \>$T(n)=2T(n/2) + \O(n) \Rightarrow$ slo¾itost $\O(n \log n)$, stejnì jako MergeSort.
  81
  82
  83
  84
  85 Máme tedy algoritmus, který pøevede koeficienty polynomu na hodnoty tohoto polynomu v rùzných bodech .
  86 Potøebujeme ale také algoritmus, který doká¾e reprezentaci polynomu pomocí hodnot pøevést zpìt na koeficienty polynomu. K tomu nám pomù¾e podívat se na ná¹ algoritmus trochu obecnìji.
  87
  88
  89 \s{Definice:}
  90 \>{\I Diskretní Fourierova transformace} $(DFT)$
  91 je funkce $f: { {\bb C} ^n} \rightarrow { {\bb C} ^n}$, kde $y=f(x) \equiv \forall j \ y_{j} = \sum \limits ^{n-1}_{k=0} x_{k} \cdot \omega ^{k}$.
  92
  93
  94 \s{Jak najít inverzní matici?} Víme, ¾e $\Omega =\Omega ^{T}$ proto¾e $\omega ^{jk} = \omega ^{kj}$.
  95
  96 Vyu¾ijeme následující lemma:
  97
  98 \ss{Lemma:}
  99
 100 \quad $\Omega _{j} \cdot \Omega _{k} = \left\{
 101 {\displaystyle 0 \ldots j\neq k}\atop
 102 {\displaystyle 1 \ldots j=k}
 103 \right.$.
 104
 105 \s{Poznámka:}
 106 $\Omega _{j} \cdot \Omega _{k}$ myslíme skalární souèin.
 107 Jsou-li $x = (x _{0}, \ldots, x _{n})$ a $y = (y _{0}, \ldots, y _{n})$ dva komplexní vektory,
 108 pak jejich skalární souèin definujeme jako:
 109 $x^{*}y = \sum \limits ^{n}_{i=0} \overline{x _{i}}y_{i}$.
 110
 111
 112 \>V této definici $\overline{x}$ oznaèuje èíslo komplexnì sdru¾ené k èíslu $x$.
 113
 114 \>
 115
 116 \proof Souèin
 117 $$\Omega _{j} \Omega _{k} = \sum \limits ^{n-1}_{l=0} \Omega _{jl} \overline{\Omega _{kl}} = \sum \limits _{l} \omega ^{jl} \overline{\omega ^{kl}} = \sum \limits _{l} \omega ^{jl} \omega ^{-kl} = \sum \limits _{l} \omega ^{(j-k)l } = \sum \limits ^{n-1}_{l=0} (\omega^{j-k}) ^{l}, $$
 118
 119 proto¾e $ \overline{\omega^{kl}} = \overline{\omega} ^{kl} = {({1 \over \omega} )}^{kl} = \omega ^{-kl}$.
 120
 121 \itemize\ibull
 122 \:Pokud $j\neq k$, pou¾ijeme vzoreèek pro souèet geometrické posloupnosti, kde $a_{1}=1$ a $q=\omega ^{(j-k) }$ a dostaneme ${{\omega^{(j-k)n} -1} \over {\omega^{(j-k)} -1}} ={1-1 \over r- 1} = {0 \over \neq 0} = 0$. Kde $r$ je èíslo rùzné od jednièky.
 123
 124 \:Pokud $j=k$, pak $ \sum \limits ^{n-1}_{l=0} (\omega ^{0}) ^{l} = n$.
 125 \endlist
 126 \qed
 127
 128
 129
 130 \s{Dùsledek:} \quad $\Omega \cdot \overline{\Omega} = nE$.
 131
 132 \>Jedná se o násobení matic, èili prvek na pozici $ij$ je $0$ nebo $n$. $\Rightarrow\Omega^{-1} = {1 \over n} \overline{\Omega}$.
 133
 134
 135 \>Na¹li jsme inverzi:
 136
 137 $\Omega({1 \over n} \overline{\Omega}) = {1 \over n}\Omega \cdot \overline{\Omega} = E$, \quad
 138 $\Omega^{-1}_{jk} = {1 \over n}\overline{\omega^{jk}} = {1 \over n}\omega^{-jk} = {1 \over n} {(\omega^{-1})}^{jk}$, \quad
 139 kde $\omega^{-1}$ je $\overline{\omega}$ a $\omega _{n}$ je $n$-tá primitivní odmocnina z jednièky.
 140
 141 \>Ná¹ algoritmus poèítá tedy i inverzní transformaci, pouze místo $\omega_n$ pou¾ijeme komplexnì zdru¾ené
 142  $\overline{\omega_n}$ a matici vynásobíme $(1/n)$. Co¾ je skvìlé --
 143  staèí znát pouze jeden algoritmus u~kterého staèí v~jednom pøípadì pou¾ít transformovanou matici a vydìlit $n$.
 144
 145 \s{Výsledek:} Pro $n= 2^k$ lze DFT na ${\bb C}^n$ spoèítat v~èase $\O(n \log n)$ a DFT$^{-1}$ takté¾.
 146
 147 \s{Dùsledek:}
 148
 149 \>Polynomy stupnì $n$ lze násobit v èase $\O(n \log n)$:
 150 $\O(n \log n)$ pro vyhodnocení, $\O(n)$ pro vynásobení a $\O(n \log n)$ pro pøevedení zpìt.
 151
 152 \s{Pou¾ití:}
 153
 154 \itemize\ibull
 155
 156 \:Zpracování signálu -- rozklad na siny a cosiny o~rùzných frekvencích $\Rightarrow$ spektrální rozklad.
 157 \:komprese dat -- napøíklad formát JPEG.
 158 \:Násobení dlouhých èísel v èase $\O(n \log n)$.
 159 \endlist
 160
 161 \s{Hardwarová implementace FFT}
 162
 163 \figure{img.eps}{Pøíklad prùbìhu algoritmu na vstupu velikosti 8}{3in}
 164
 165
 166 \>Obrázek ukazuje zapojení kombinaèního obvodu pro DFT pro vstup velikosti~8. Hladin bude v¾dy $\log_2 n$, tj. v~na¹em pøípadì $\log_2 8 = 3$ hladiny.
 167
 168 \>Podívejme se na pravou èást obrázku, tedy výstup celého obvodu. Èerná koleèka pøedstavují podobvody, rovnice vedle nich operaci, kterou provádìjí. Hodnoty $y_j$ znaèí hodnotu polynomu $P$ v bodì $\omega^j$ kde $\omega^j$ je $j-tá$ mocnina primitivní $n$-té odmocniny z jednièky. K jejímu spoètení ale potøebujeme znát hodnoty $s_k$ a $l_k$ kde $k$ je z intervalu $[0, {n/2} -1]$ a $s_k$ a $l_k$ jsou hodnoty polynomu stupnì ${n/2}$ v bodì $\omega^{2k}$. V polynomu $s$ jsou sudé koeficienty a v polynomu $l$ liché koeficienty polynomu $P$. Vidíme ze se jedná pøesnì o ná¹ rekurzivní algoritmus pro poèítání FFT a tímto zpùsobem postavíme celou sí».
 169 \>Tímto obvodem jsme tedy získali nerekurzivní algoritmus pro poèítání FFT. V¹imìme si poøadí vstupních hodnot (koeficientù). Èísla jsou v binárním tvaru 0--7 pøeètená pozpátku. Pro pøedstavu jaké koeficienty polynomu $P$ se objevují v rùzných hladinách, na obrázku jsou naznaèena jejich èísla spolu s pøíslu¹nými mocninami primitivní $n$-té odmocniny z jednièky.
 170
 171 \s{Z toho:}
 172
 173 \itemize\ibull
 174 \:Kombinaèní obvod pro DFT
 175 s~$\O(\log n)$ hladinami
 176 a $\O(n)$ hradly na hladinì.
 177 \:Nerekurzivní algoritmus (postupujeme zleva) v~èase $\O(n \log n)$.
 178
 179 \endlist
 180
 181 \bye