X-Git-Url: http://mj.ucw.cz/gitweb/?a=blobdiff_plain;f=8-fft%2F8-fft.tex;h=2bbc93f04e3f98f3459c7f7315e982bdb2119a9d;hb=7de2a95aafbaa1a652f339ce48dd9d2b670f9fca;hp=8df8e2397828e21bf4c2dd755229ec25a80b3eea;hpb=2436f657bfef2c78165e7c63b11c24dc5814f791;p=ads2.git diff --git a/8-fft/8-fft.tex b/8-fft/8-fft.tex index 8df8e23..2bbc93f 100644 --- a/8-fft/8-fft.tex +++ b/8-fft/8-fft.tex @@ -1,88 +1,93 @@ \input lecnotes.tex \prednaska{8}{Fourierova transformace}{(K.Jakubec, M.Polák a G.Ocsovszky)} -Násobení polynomù mù¾e mnohým pøipadat jako pomìrnì (algoritmicky) snadný problém. Asi ka¾dého hned napadne \uv{hloupý} algoritmus -- jednodu¹e vezmeme koeficienty prvního polynomu a ka¾dým z nich pøenásobím v¹echny koeficienty toho druhého. Pokud øád prvního polynomu je $n$ a druhého $m$, tak èasová slo¾itost nám vyjde nìco jako $\O(mn)$. To není a¾ tak ¹patné, v nejhor¹ím pøípadì se dostaneme na $\O(n^{2})$ (pokud $m = n$). Na první pohled se mù¾e zdát, ¾e rychleji to prostì nejde (pøeci musíme v¾dy vynásobit \uv{ka¾dej s ka¾dým}). Ve skuteènosti to ale rychleji fungovat mù¾e, ale k~tomu je potøeba znát trochu tajemný algoritmus FFT neboli {\I Fast Fourier Transform}. +Násobení polynomù mù¾e mnohým pøipadat jako pomìrnì (algoritmicky) snadný problém. Asi ka¾dého hned napadne \uv{hloupý} algoritmus -- vezmeme koeficienty prvního polynomu a vynásobíme ka¾dý se v¹emi koeficienty druhého polynomu a pøíslu¹nì u toho vynásobíme i exponenty (stejnì jako to dìláme, kdy¾ násobíme polynomy na papíøe). Pokud stupeò prvního polynomu je $n$ a druhého $m$, tak èasová slo¾itost nám vyjde $\O(mn)$. To není a¾ tak ¹patné, v nejhor¹ím pøípadì se dostaneme na $\O(n^{2})$ (pokud $m = n$). Na první pohled se mù¾e zdát, ¾e rychleji to prostì nejde (pøeci musíme v¾dy vynásobit \uv{ka¾dý s ka¾dým}). Ve skuteènosti to ale rychleji fungovat mù¾e, ale k tomu je potøeba znát trochu tajemný algoritmus FFT neboli {\I Fast Fourier Transform}. \ss{Trochu algebry na zaèátek:} -\>Libovolný polynom $P$ øádu $n$ mù¾eme být reprezentován dvìma rùznými zpùsoby: +\>Libovolný polynom $P$ stupnì $n$ mù¾e být reprezentován dvìma rùznými zpùsoby: \itemize\ibull \:svými koeficienty, èili èísly $a_{0}, a_{1}, \ldots ,a_{n}$, nebo -\:svými hodnotami v $n + 1$ rùzných bodech $x_{0}, x_{1}, \ldots , x_{n}$, èili èísly $P(x_{0}),$ $P(x_{1}),$ $\ldots , P(x_{n})$. +\:svými hodnotami v $n$ rùzných bodech $x_{0}, x_{1}, \ldots , x_{n}$, èili èísly $P(x_{0}),$ $P(x_{1}),$ $\ldots , P(x_{n})$. \endlist -\>Pov¹imnìme si jedné skuteènosti -- máme-li dva polynomy $A$ a $B$ øádu $n$ a body $x_{0}, \ldots, x_{k}$, pak platí $C(x_{k}) = A(x_{k}) \cdot B(x_{k}), k = 0,1,2, \ldots, n+1.$ Toto èiní tento druhý zpùsob reprezentace polynomu velice atraktivním pro násobení. Problémem je, ¾e typicky máme polynom zadaný koeficienty a ne hodnotami v bodech. Tím pádem potøebujeme nìjaký hodnì rychlý algorimtus (tj. rychlej¹í ne¾ kvadratický, jinak bychom si nepomohli oproti hloupému algoritmu) na pøevod polynomu z~jedné reprezentace do druhé a zase zpìt. +\ss{Konvence} +\>Celé polynomy oznaèujeme velkými písmeny, jednotlivé èleny polynomù pak pøíslu¹nými malými písmeny. (Pø.: Polynom $W$ stupnì $n$ má èleny $w_{1}, w_{2},\ldots, w_{n}$.) -Dále bychom si mìli uvìdomit, ¾e stupeò na¹eho výsledného polynomu $C$ bude $\leq 2n+1$ (kde $n$ je stupnìm výchozích polynomù). To snad netøeba nijak vysvìtlovat, ka¾dý si to snadno ovìøí, jen dodáme, ¾e pokud chceme polynom $C$ reprezentovat pomocí jeho hodnot v bodech, musíme vzít $2n + 2$ bodù. Tímto konèí malá algebraická vsuvka. +\>Pov¹imnìme si jedné skuteènosti -- máme-li dva polynomy $A$ a $B$ stupnì $n$ a body $x_{0}, \ldots, x_{k}$, pak platí $C(x_{k}) = A(x_{k}) \cdot B(x_{k}), k = 0,1,2, \ldots, n.$ Toto èiní tento druhý zpùsob reprezentace polynomu velice atraktivním pro násobení. Problémem je, ¾e typicky máme polynom zadaný koeficienty a ne hodnotami v bodech. Tím pádem potøebujeme nìjaký hodnì rychlý algorimtus (tj. rychlej¹í ne¾ kvadratický, jinak bychom si nepomohli oproti hloupému algoritmu) na pøevod polynomu z jedné reprezentace do druhé a zase zpìt. + +Dále bychom si mìli uvìdomit, ¾e stupeò na¹eho výsledného polynomu $C$ bude $\leq 2n$ (kde $n$ je stupeò výchozích polynomù). To snad netøeba nijak vysvìtlovat, ka¾dý si to snadno ovìøí, jen dodáme, ¾e pokud chceme polynom $C$ reprezentovat pomocí jeho hodnot v bodech, musíme vzít alespoò $2n$ bodù. Tímto konèí malá algebraická vsuvka. \s{Idea, jak by mìl algoritmus pracovat:} \algo -\:Vybereme $2n + 2$ bodù $x_{0}, x_{1}, \ldots , x_{2n+1}$. -\:V~tìchto bodech vyhodnotíme polynomy $A$ a $B$. +\:Vybereme $2n$ bodù $x_{0}, x_{1}, \ldots , x_{2n}$. +\:V tìchto bodech vyhodnotíme polynomy $A$ a $B$. \:Nyní ji¾ v lineárním èase získáme polynom $C$ (viz vý¹e). -\:Inverznì pøevedeme hodnoty polynomu $C$ v $2n+2$ bodech na jeho koeficienty. +\:Inverznì pøevedeme hodnoty polynomu $C$ v $2n$ bodech na jeho koeficienty. \endalgo -\>Je asi vidìt, ¾e klíèové jsou kroky 2 a 4. Vybrání bodù jistì stihneme pohodlnì v~lineárním èase a vynásobení samotných hodnot té¾ (máme $2n+2$ bodù a $C(x_{k}) = A(x_{k}) \cdot B(x_{k}), k = 0,1,2, \ldots , 2n+1$, tak¾e na to nepotøebujeme více ne¾ $2n+2$ násobení). - -Celý trik spoèívá v~chytrém vybrání onìch bodù, ve kterých budeme polynomy vyhodnocovat. Je na to potøeba vìdìt pár zajímavostí o~komplexních èíslech, na stránce Matrina Mare¹e jsou k dispozici slajdy, zde to bude zapsáno o~trochu struènìji. +\>Je asi vidìt, ¾e klíèové jsou kroky 2 a 4. Vybrání bodù jistì stihneme pohodlnì v lineárním èase a vynásobení samotných hodnot té¾ (máme $2n$ bodù a $C(x_{k}) = A(x_{k}) \cdot B(x_{k}), k = 0,1,2, \ldots , 2n$, tak¾e na to nepotøebujeme více ne¾ $2n$ násobení). -\ss{Vyhodnocení polynomu metodou rozdìl a panuj (algoritmus FFT):} -Mìjme polynom $P$ øádu $n$ a chceme jej vyhodnotit v $n$ bodech. Vybereme si body tak, aby byly spárované, èili $\pm x_{0}, \pm x_{1}, \ldots , \pm x_{n/2-1} $. To nám výpoèet urychlí, proto¾e pak se druhé mocniny $x_{i}$ shodují s~druhými mocninami $-x_{i}$. +Celý trik spoèívá v chytrém vybrání onìch bodù, ve kterých budeme polynomy vyhodnocovat. Je na to potøeba vìdìt pár zajímavostí o komplexních èíslech, na stránce Matrina Mare¹e jsou k dispozici slajdy, zde to bude zapsáno o trochu struènìji. -Polynom $P$ rozlo¾íme na dvì èásti, první obsahuje èleny se sudými exponenty, druhá s~lichými: +\ss{ Vyhodnocení polynomu metodou Rozdìl a panuj (algoritmus FFT):} +Mìjme polynom $P$ øádu $n$ a chceme jej vyhodnotit v $n$ bodech. Vybereme si body tak, aby byly spárované, èili $\pm x_{0}, \pm x_{1}, \ldots , \pm x_{n/2} $. To nám výpoèet urychlí, proto¾e pak se druhé mocniny $x_{j}$ shodují s druhými mocninami $-x_{j}$. +Polynom $P$ rozlo¾íme na dvì èásti, první obsahuje èleny se sudými exponenty, druhá s lichými: $P(x) = p_{0}x^{0} + p_{2}x^{2} + \ldots + p_{n-2}x^{n-2} + p_{1}x^{1} + p_{3}x^{3} + \ldots + p_{n-1}x^{n-1}$ $S(x^{2}) = p_{0}x^{0} + p_{2}x^{2} + \ldots + p_{n - 2}x^{n - 2}$, $L(x^{2}) = p_{1}x^{1} + p_{3}x^{3} + \ldots + p_{n - 1}x^{n - 1}$ \>Tak¾e obecnì $P(x) = S(x^{2}) + xL(x^{2})$ a $P(-x) = S(x^{2}) - xL(x^{2})$. -Jinak øeèeno, vyhodnocování $P(x)$ v $n$ bodech se nám smrskne na vyhodnocení $S(x)$ a $L(x)$ (oba mají polovièní stupeò ne¾ $P(x)$) v $n/2$ bodech (proto¾e $(x_{i})^{2} = (-x_{i})^{2}$). +Jinak øeèeno, vyhodnocování $P$ v $n$ bodech se nám smrskne na vyhodnocení $S(x)$ a $L(x)$ (oba jsou polynomy stupnì $n/2$ a vyhodcujeme je nyní v $x^{2}$) v $n/2$ bodech (proto¾e $(x_{i})^{2} = (-x_{i})^{2}$). \s{Pøíklad:} $3 + 4x + 6x^{2} + 2x^{3} + x^{4} + 10x^{5} = (3 + 6x^{2} + x^{4}) + x(4 + 2x^{2} + 10x^{4})$. -Teï nám ov¹em vyvstane problém s oním párováním -- druhá mocina pøece nemù¾e být záporná a tím pádem u¾ v~druhé úrovni rekurze body spárované nebudou. Z~tohoto dùvodu musíme pou¾ít komplexní èísla -- tam druhé mocniny záporné býti mohou. Jako $x_{0}, \ldots , x_{n-1} $ si zvolíme $n$-tou komplexní odmocninu z~jedné. Máme $n$ $n$-tých odmocnin z jednièky, rovnomìrnì rozesetých po jednotkové kru¾nici, BÚNO $n=2^{k}, k \in N$ (jinak viz slajdy Martina Mare¹e). Jednotlivé odmociny vypadají takto: $1, \omega, \omega^{2}, \ldots , \omega^{n - 1} $, kde $\omega = e^{2 \pi i/ n}$. +Teï nám ov¹em vyvstane problém s oním párováním -- druhá mocina pøece nemù¾e být záporná a tím pádem u¾ v druhé úrovni rekurze body spárované nebudou. Z tohoto dùvodu musíme pou¾ít komplexní èísla -- tam druhé mocniny záporné býti mohou. Jako $x_{0}, \ldots , x_{n-1} $ si zvolíme $n$-tou primitvní odmocninu z jedné (oznaèíme si ji jako $\omega$). Máme $n$ $n$-tých primitivních odmocnin z jednièky, rovnomìrnì rozesetých po jednotkové kru¾nici, BÚNO $n=2^{k}, k \in N$ (jinak viz slajdy Martina Mare¹e). Jednotlivé odmociny vypadají takto: $1, \omega, \omega^{2}, \ldots , \omega^{n - 1} $, kde $\omega = e^{2 \pi i/ n}$. \s{Dvì poznámky:} \itemize\ibull -\:$n$-té odmocniny z~jednièky jsou spárované, èili $\omega^{j} = -\omega^{n/2 + j}$, -\:umocníme-li v¹echny na druhou, vznikne nám $n/2$ $n/2$-tých odmocnin z~jedné, které jsou i nadále spárované. +\:primitivní $n$-té odmocniny z jednièky jsou spárované, èili $\omega^{j} = -\omega^{n/2 + j}$, +\:umocníme-li v¹echny na druhou, vznikne nám $n/2$ $n/2$-tých odmocnin z jedné, které jsou i nadále spárované. \endlist \ss{Tak a teï koneènì ten slavný algoritmus:} \>FFT($P$, $ \omega$) -\>{\sl Vstup:} $p_{0}, \ldots , p_{n-1}$, koeficienty polynomu $P$, a $\omega$, $n-$tá odmocina z~jedné. +\>{\sl Vstup:} $p_{0}, \ldots , p_{n-1}$, koeficienty polynomu $P$, a $\omega$, $n-$tá odmocina z jedné. \>{\sl Výstup:} Hodnoty polynomu v~bodech $1, \omega, \omega^{2}, \ldots , \omega^{n - 1}$, èili èísla $P(1), P(\omega), P(\omega^{2}),$ $\ldots , P(\omega^{n - 1})$. \algo \:Pokud $n = 1$, vra» $P_{0}$ a konec. -\:Jinak rozdìl $P$ na sudé a liché koeficienty a zarekurzi se do FFT($S$, $\omega^{2}$) a FFT($L$, $\omega^{2}$). +\:Jinak rozdìl $P$ na sudé a liché koeficienty rekurzivnì zavolej FFT($S$, $\omega^{2}$) a FFT($L$, $\omega^{2}$). \:Pro $j = 0, \ldots , n - 1$ spoèítej: $P(\omega^{j}) = S(\omega^{2j}) + \omega^{j} \cdot L(\omega^{2j})$. \endalgo \s{Èasová slo¾itost:} -\>$T(n)=2T({n \over 2} ) + \O(n) \Rightarrow$ slo¾itost $\O(n \log n)$, stejnì jako MergeSort. +\>$T(n)=2T(n/2) + \O(n) \Rightarrow$ slo¾itost $\O(n \log n)$, stejnì jako MergeSort. -Máme tedy algoritmus, který \uv{pøevede} koeficienty polynomu na hodnoty tohoto polynomu v~námi zadaných bodech. Ale potøebujeme také algoritmus, který doká¾e reprezentaci polynomu pomocí hodnot pøevést zpìt na koeficienty polynomu. Tedy nìjaký inverzní algoitmus. -Definujeme si algoritmus DFT, která vyu¾ívá maticovou reprezentaci a s~jeho¾ pomocí získáme hledaný algoritmus. +Máme tedy algoritmus, který \uv{pøevede} koeficienty polynomu na hodnoty tohoto polynomu v rùzných bodech . +Ale potøebujeme také algoritmus, který doká¾e reprezentaci polynomu pomocí hodnot pøevést zpìt na koeficienty polynomu. +Tedy nìjaký inverzní algoritmus. Definujeme si DFT - diskrétní Fourierovu transformaci, která vyu¾ívá + maticovou reprezentaci a s její¾ pomocí získáme hledaný algoritmus. \s{Definice:} -\>{\I Diskretní Fourierova transformace} $(DFT)$ -je funkce $f: { {\bb C} ^n} \rightarrow { {\bb C} ^n}$, kde $y=f(x) \equiv \forall j \ y_{j} = \sum \limits ^{n-1}_{k=0} x_{k} . \omega ^{jk}$. +>{\I Diskretní Fourierova transformace} $(DFT)$ +je funkce $f: { {\bb C} ^n} \rightarrow { {\bb C} ^n}$, kde $y=f(x) \equiv \forall j \ y_{j} = \sum \limits ^{n-1}_{k=0} x_{k} . \omega ^{k}$. \s{Poznámka:} -Vezmeme polynom, který má $x_{kj}$ jako koeficienty a vyhodnotíme ho v~bodì $\omega ^{j} [y_{j} = x(\omega^{j})] \Rightarrow {f}$ je linearní $\Rightarrow$ mù¾eme napsat $f(x) = \Omega x ,\ \Omega _{jk} =\omega ^{jk}$, kde $\Omega$ je matice. +Vezmeme polynom, který má $x_{kj}$ jako koeficienty a vyhodnotíme ho v~bodì +$\omega ^{j} [y_{j} = x(\omega^{j})] \Rightarrow {f}$ je linearní $\Rightarrow$ mù¾eme napsat $f(x) = \Omega . x ,\ \Omega _{jk} =\omega ^{jk}$, kde $\Omega$ je matice. \s{Jak najít inverzní matici?} Víme, ¾e $\Omega =\Omega ^{T}$ proto¾e $\omega ^{jk} = \omega ^{kj}$. @@ -92,8 +97,14 @@ Vyu \ss{Lemma:} +\quad $\Omega _{j} \cdot \Omega _{k} = \left\{ +{\displaystyle 0 \ldots j\neq k}\atop +{\displaystyle 1 \ldots j=k} +\right.$. + +\s{Dùkaz:} \proof Souèin -$$\Omega _{j} \Omega _{k} = \sum \limits ^{n-1}_{l=0} \Omega _{jl} \overline{\Omega _{kl}} = \sum \limits _{l} \omega ^{jl} \overline{\omega ^{kl}} = \sum \limits _{l} \omega ^{jl} \omega ^{-kl} = \sum \limits _{l} \omega ^{(j-k)l } = \sum \limits ^{n-1}_{l} (\omega^{j-k}) ^{l}, $$ +$$\Omega _{j} \Omega _{k} = \sum \limits ^{n-1}_{l=0} \Omega _{jl} \overline{\Omega _{kl}} = \sum \limits _{l} \omega ^{jl} \overline{\omega ^{kl}} = \sum \limits _{l} \omega ^{jl} \omega ^{-kl} = \sum \limits _{l} \omega ^{(j-k)l } = \sum \limits ^{n-1}_{l=0} (\omega^{j-k}) ^{l}, $$ proto¾e $ \overline{\omega^{kl}} = \overline{\omega} ^{kl} = {({1 \over \omega} )}^{kl} = \omega ^{-kl}$. @@ -104,12 +115,7 @@ proto \endlist \qed -\>A nyní slibované a u¾ i dokázané lemma: -\s{Lemma:} \quad $\Omega _{j} \cdot \Omega _{k} = \left\{ -{\displaystyle 0 \ldots j\neq k}\atop -{\displaystyle 1 \ldots j=k} -\right.$. \s{Dùsledek:} \quad $\Omega \cdot \overline{\Omega} = nE$. @@ -119,12 +125,14 @@ proto \>Na¹li jsme inverzi: -$\Omega({1 \over n} \overline{\Omega}) = {1 \over n}\Omega \cdot \overline{\Omega} = E$, \quad -$\Omega^{-1}_{jk} = {1 \over n}\overline{\omega^{jk}} = {1 \over n}\omega^{-jk} = {1 \over n} {(\omega^{-1})}^{jk}$, \quad +$\Omega({1 \over n} \overline{\Omega}) = {1 \over n}\Omega \cdot \overline{\Omega} = E$, \quad +$\Omega^{-1}_{jk} = {1 \over n}\overline{\omega^{jk}} = {1 \over n}\omega^{-jk} = {1 \over n} {(\omega^{-1})}^{jk}$, \quad kde $\omega^{-1}$ je $\overline{\omega}$. -\>Ná¹ algoritmus poèítá tedy i inverzní transformaci, pouze místo $\omega_n$ pou¾ijeme $\overline{\omega_n}$ a vydìlíme $n$. Co¾ je skvìlé -- staèí znát pouze jeden algoritmus u~kterého staèí v~jednom pøípadì pou¾ít jinou matici a vydìlit $n$. +\>Ná¹ algoritmus poèítá tedy i inverzní transformaci, pouze místo $\omega_n$ pou¾ijeme komplexnì zdru¾ené + $\overline{\omega_n}$ a matici vynásobíme $(1/n)$. Co¾ je skvìlé -- + staèí znát pouze jeden algoritmus u~kterého staèí v~jednom pøípadì pou¾ít transformovanou matici a vydìlit $n$. \s{Vìta:} Pro $n= 2^k$ lze DFT na ${\bb C}^n$ spoèítat v~èase $\O(n \log n)$ a DFT$^{-1}$ takté¾. @@ -138,24 +146,37 @@ $\O(n \log n)$ pro vyhodnocen \itemize\ibull \:Zpracování signálu -- rozklad na siny a cosiny o~rùzných frekvencích $\Rightarrow$ spektrální rozklad. -\:JPEG. +\:komprese dat -- napøíklad formát JPEG. \:Násobení dlouhých èísel v èase $\O(n \log n)$. \endlist +\s{Hardwareová implementace FFT -- takzvaná motýlková m:} \figure{img.eps}{Pøíklad prùbìhu algoritmu na vstupu velikosti 8}{3in} -\>To je schéma zapojení kombinaèního obvodu (tzv. \uv{motýlek}). +\>Obrázek ukazuje zapojení kombinaèního obvodu pro DFT pro vstup velikosti 8. Èíslo $\log n$ znaèí poèet hladin, tj. u nás $\log 8 = 3$ hladiny. + +\>Základem je kombinaèní obvod tzv. motýlek. (Na obrázku znázornìn dvìma èarami, pøekøí¾enými v jejich støedech). Co motýlek dìlá? Podívejme se na následující obrázek. + +\figure{img2.eps}{Kombinaèní obvod tzv. motýlek}{3in} + +\>vstup jsou komplexní èísla $x_1$ a $x_2$ a výstup komplexní èísla $y_1$ a $y_2$ +\>$y_1 = x_1 + \omega^j \cdot x_2$ +\>$y_2 = x_1 - \omega^j \cdot x_2$ + +\>kde index $j$ znaèí + +\>V¹imìme si poøadí vstupních hodnot(koeficientù). Èísla jsou v binarním tvaru 0-7 pøeètená pozpátku. \s{Z toho:} \itemize\ibull \:Kombinaèní obvod pro DFT - s~$\O(\log n)$ hladinami - a $\O(n)$ hradly na hladinì. +s~$\O(\log n)$ hladinami +a $\O(n)$ hradly na hladinì. \:Nerekurzivní algoritmus (postupujeme zleva) v~èase $\O(n \log n)$. - Èísla vstupu jsou èísla v~binárním tvaru pøeètená pozpátku. + \endlist