影像平滑化

影像在傳輸過程中，由於受到通道、劣質取樣系統以及其他的干擾影響，導致影像變得粗糙、不清晰，因此，我們需要對影像做平滑處理( 英:Image Smoothing)。其主要目的為降低影像的雜訊成分。雜訊產生可分為很多種，有些來自系統外部的的干擾(例如：電磁波或是透過電源進入系統的外部雜訊)；亦有些來自系統內部的干擾(例如:攝影機的熱雜訊、電器機械運動而產生的抖動雜訊)。雜訊產生的原因決定了雜訊與影像訊號的關係。而減少雜訊的方法可分為兩種：一種是在空間域做處理；另一種則是在頻率域上做處理。
影像中的雜訊通常是和信號混合在一起的，尤其是乘法性的雜訊，若平滑處理作得不妥，則會使影像本身的細節部分，像是邊緣輪廓、線條等地方模糊不清，進而使影像的品質下降。在做影像平滑處理時，需要以一定的細節模糊做為代價，因此要如何平滑掉影像的雜訊又儘量可以保持影像的細節是一個重要的課題。

影像平滑的應用

影像平滑主要是要消除被污染影像的雜訊，這是遙感影像處理的研究之一，廣泛應用於影像顯示、傳輸、分析、動畫製作、媒體合成等領域。此技術是出自於人類視覺系統生理接受特點而設計的一種改善影像品質的方法。處理的對象為在影像生成、傳輸、處理、顯示等過程中受到多種因素擾動形成的加入雜訊影像。在影像處理的系統中，影像平滑是影像復原技術裏針對「一幅影像中唯一存在的退化是雜訊」的特例。

平滑空間濾波器

平滑線性濾波器

平滑線性空間濾波器的輸出(響應)是濾波器遮罩的鄰域所含像素的平均。這些濾波器有時候被稱為平均濾波器(averaging filters)或稱為低通濾波器(lowpass filters)。

以濾波器遮罩所定義之鄰域中灰階的平均值取代影像中的每一個像素，這樣的程序產生在灰階上「銳利」變化降低的影像。因為隨機雜訊通常在灰階上含有銳利的變化，所以平滑濾波器最明顯應用是在減少雜訊。但是邊緣(幾乎總是一幅影像最重要的表達特性)也在灰階上含有銳利變化的特性，所以平均濾波器有模糊邊緣的缺點。此種處理的另一個應用包含假輪廓的平滑，這是由於灰階數不足所導致的。平均濾波器的一個主要應用是把影像中「不相干」的細節減少。「不相干」指的是小於濾波器遮罩大小的像素區域。

圖(一)顯示兩個3×3的平滑濾波器。第一個濾波器的使用產生在遮罩下之像素的標準平均。這一點以遮罩的系數可由下式來表示：

R=1/9*\sum _{i=1}^{9}z_{i}

,這是由遮罩所定義之 3×3 鄰域中像素灰階的平均。濾波器的系數都為1，而不是1/9。濾波器系數皆設為1的目的是要讓計算更有效率。在濾波處理結尾，整個影像除以9。一個 m×n 的遮罩會有一個等於 l/mn 的正規化常數。
顯示在圖(一)的第二個遮罩產生了權重平均(weighted average)，為得是要強調某些像素的重要性(權重)而犧牲其它的像素。在圖(一)第二個所顯示的遮罩中，遮罩中心的像素被乘上一個比其它任何數都大的值，因此在計算平均上，給予此像素更多的重要性。其他像素乘上與其離遮罩中心距離成反比的權重函數。對角項比直角的鄰近點離遮罩中心更遠(\sqrt{2}倍)，因此其權重比中心像素的直接鄰近點低。對中心點給最高的權重，然後依其從原點增加之距離函數減少系數的數值，目地只是要在平滑處理中減少模糊的一種挑戰。我們也可選出其他的權重來達成相同的目標。但是在圖(一)的第二個圖中，遮罩中的所有系數和等於16恰等於2的整數乘冪。實際上，一般很難看出由圖(一)的遮罩或類似設計平滑後之影像的差異，因為這些遮罩在影像中任何一點跨越的區域都是如此的小。

以一個大小為m × n ( m和n是奇數) 的權重平均濾波器對一個M × N影像濾波的一般實現，如下式表示

g(x,y)={\frac {\sum _{s=-a}^{a}\sum _{t=-b}^{b}w(s,t)f(x+s,y+t)}{\sum _{s=-a}^{a}\sum _{t=-b}^{b}w(s,t)}}

，其中f為大小為M × N的影像w為m×n之濾波器遮罩，a=(m-1)/2，b=(n-1)/2，x=0,1,2,…,M-1，y=0,1,2,…,N-1。完整經過濾波器的影像是由上式所獲得的且分母為遮罩系數的總合，因此，此式為一個只需要被計算一次的常數。在大部分的情況下，經過濾波器處理後，這樣的比例因子會運用在輸出影像的所有像素上。
如先前提到的，空間平均的一個重要應用是為了獲得感興趣物體的整體表示而將一影像模糊，使得較小物體的強度融入背景，而較大的物體變成「像斑點狀」，因而容易偵測到。遮罩的大小建立了會被融入背景之物體的相對大小。舉例來說，考慮圖(二)(a)，它是哈伯望遠鏡在圍繞地球軌道中所得的一個影像。圖(二)(b)顯示了運用15×15平均遮罩到此影像的結果。可觀察出許多物體不是融入背景中就是強度有明顯地減少。通常像這樣的一個運算處理之後會根據其強度設定臨界值來消除物體。使用圖(三)的臨界值函數的結果顯示於圖(二)(c)中，其中的臨界值等於模糊影像之最高強度的25％。將此結果和原始影像做比較，可以說明對於我們認為會是在該影像中最大以及最亮的物體而言，是個合理的表示。

排序統計濾波器

排序統計濾波器是非線性的空間濾波器，其響應建立在由濾波器所包圍之影像區域中所含像素的順序(排序)上，然後由排序結果決定的值來取代中心像素的值。

中值濾波器 (median filter)

將像素的值用該像素(像素的原始值包含在中值的計算內)近鄰灰階的中間值來取代。中值濾波器相當受歡迎，因為對於某種隨機雜訊，它們提供了絕佳的雜訊降低效能，比起同樣大小的線性平滑濾波器有顯著較小的模糊化。中值濾波器在脈衝雜訊(impulse noise)出現時，特別有用，因為脈衝雜訊看起來像是疊加在影像上的白點和黑點，所以又稱為胡椒鹽式雜訊(salt-and-pepper noise)。
一組值的中間值ζ是使集合中半數的值小於或等於ζ，且一半的值大於或等於ζ。為了在一幅影像中的一個點上執行中值濾波，我們首先把問題裏的像素和其鄰近像素的值排序，並決定它們的中間值，然後把這個值指定到該像素。例如：在一個3 × 3的鄰域中，中間值是第五個最大的值；在5× 5的鄰域中，中間值是第十三個最大的值，依此類推。當鄰域裏的幾個值相同時，所有相等的值為一組。例如：假設有一個3×3鄰域內的數值為(10 , 20 , 20 , 20 , 15 , 20 , 20 , 25 , 100)，這些值被重新排序為(10, 15 , 20 , 20 , 20 , 20 , 20 , 25 , 100 )，產生中間值為20。因此，中間值濾波器的功能是強迫所有不同灰階度的點更接近期鄰近的點。實際上，比起鄰近點亮或暗且其面積小於 $n^{2}/2$ (濾波器面積得一半)的單獨像素群集，被一個n×n的中間值濾波器所消除。在此情況中的「消除」是指強迫其值至鄰近的中間值強度。較大的群集受到顯著較小的影響。
雖然中值濾波器在影像處理上一定是最有用的排序統計濾波器，但它絕不是唯一的。中值代表排序集合的第50個百分點，但是讀者將會從基本統計學中回想起排序可有其它的可能性。例如：使用100個百分點產生了所謂的最大值濾波器(max filter)，用在找出影像中最亮點時。3×3最大值濾波器的響應是R=max{ $z_{k}$ │ k=1,2,...,9}。零百分比濾波器為最小值濾波器(min filter)，則是找出影像中的最暗點。

頻率域的平滑濾波器

影像中的邊緣和其它灰階劇烈變化的部分(例如：雜訊)在傅立葉轉換中含有大量的高頻成分，因此，將已知影像轉換中的一特定高頻範圍衰減可以使影像平滑在頻率域上達成。
頻率域上濾波器的基本「模型」如下所示：

G(u,v)=H(u,v)F(u,v)

，其中F(u , v)是要平滑影像的傅立葉轉換。目標是選擇一個濾波器轉移函數H(u,v)，透過衰減F(u ,v)的高頻分量來得到G(u,v)。
在此，考慮3種低通濾波器：理想濾波器、巴特沃斯濾波器以及高斯濾波器。這三個濾波器涵蓋了從非常銳利(理想濾波器)到非常平滑(高斯濾波器)的濾波器函數。巴特沃斯濾波器有一個參數，稱為濾波器階數(Order)。對於此參數較高的值，巴特沃斯濾波器趨近於理想濾波器的形式。對於低階的值，巴特沃斯濾波器會有類似高斯濾波器的平滑形式，因此，巴特沃斯濾波器可以視為在兩個「極端」之間的過度。

理想低通濾波器 (Ideal lowpass filter , 2-D ILPF)

我們能想像的最簡單低通濾波器是「截止」所有傅立葉轉換高頻成分的一個濾波器，凡是距離大於從(置中)轉換的原點起算的一個指定距離的高頻成分都消除掉。這樣的一個濾波器稱為二維理想低通濾波器(2-D ideal lowpass filter , 2-D ILPF)並有轉栘函數

H(u,v)={\begin{cases}1,ifD(u,v)\leq D_{0}\\0,ifD(u,v)>D_{0}\\\end{cases}}

，其中 $D_{0}$ 是一個指定的非負數值，而D(u,v)是從點(u,v)到頻率矩形原點的距離。如果考慮的影像大小為M×N，則我們知道它的轉換也是這個大小，因為轉換已經被置中，所以頻率矩形的中心是在(u,v)=( M/2 , N/2 )。在此情形下，從任何點(u,v)到傅立葉轉換中心(原點)的距離為

D(u,v)={\sqrt {[(u-M/2)^{2}+(v-N/2)^{2}]}}

圖(四)顯示以u和v為函數之H(u,v)的三維透視圖，而圖(四)顯示以一影像來呈現H(u,v)。理想濾波器(ideal filter)指的是在半徑為 $D_{0}$ 圓內的所有頻率分量無衰減的通過，而圓外所有的頻率分量完全被衰減。在此所考慮的低通濾波器對原點是徑向對稱的，亦即只要有一個剖面(其延展是從原點出發沿半徑方向之距離的函數)就可以了，如圖(四)所示。將剖面圖繞原點旋轉 $360^{\circ }$ ，可得到完整的濾波器轉移函數。
對於一個理想低通濾波器的剖面，H(u ,v)=1和H(u,v)=0之間的過渡點通常稱為截止頻率(cutoff frequency)。例如：在圖(四)中，截止頻率是 $D_{0}$ 。理想低通濾波器的銳利截止頻率僅能用計算機中來實現。
理想低通濾波器在對影像做平滑處理時，會有振鈴(ringing)產生，可用迴旋積定理來解釋此現象。假設原始影像f(x,y)、模糊影像g(x,y)在頻率域上的表達如下所示

G(u,v)=H(u,v)F(u,v)

，其中F(u,v)是原始影像f(x,y)的傅立葉轉換，G(u,v) 是模糊影像g(x,y)的傅立葉轉換及H(u,v)是理想低通濾波器函數。藉由摺積定理，其在空間域對應到關係式為

g(x,y)=h(x,y)*f(x,y)

，其中"*"為摺積運算符號。濾波器函數h(x,y)有兩個主要的特徵：在原點有一個主宰成分，和以中心成分為圓心的同心圓圓形成分。中心成分主要是造成模糊，即平滑效應；同心圓成分主要造成理想濾波器的振鈴。

巴特沃斯低通濾波器 (Butterworth Ideal lowpass filter, BILF)

距離原點 $D_{0}$ 之截止頻率的n階巴特沃斯低通濾波器的轉移函數，定義為

H(u,v)={\frac {1}{1+[D(u,v)/D_{0}]^{2n}}}

，其中 $D(u,v)={\sqrt {[(u-M/2)^{2}+(v-N/2)^{2}]}}$

圖(五)顯示出巴特沃斯低通濾波器函數的透視圖、影像顯示和徑向剖面圖。
不像理想低通濾波器(ILPF) , 巴特沃斯低通濾波器的轉換函數並沒有尖銳的不連續點來建立通過和濾除頻率之間清楚的分界。對於有平滑轉換函數的濾波器，通常將截止頻率軌跡定義在H(u , v)降到它的最大值時的某個比例的點。在上式的情形下，當 $D(u,v)=D_{0}$ 時，H( u , v )=0.5 (從其最大值1下降50 %)。
一階的巴特沃斯濾波器沒有振鈴也沒有負的值，二階的濾波器有輕微的振鈴和較小的負值，與理想濾波器相比較不明顯。但在高階的濾波器中，巴特沃斯濾波器產生的明顯的振鈴現象。愈高階的巴特沃斯濾波器與理想濾波器的效應是相同的。通常，二階的巴特沃斯濾波器是在有效的低通濾波和可接受的振鈴特徵之間一個好的折衷點。

高斯低通濾波器 (Gaussian lowpass filter, GLPF)

一維的高斯低通濾波器可當作空間域與頻率域轉換的輔助工具。這些濾波器的二維形式為 $H(u,v)=e^{-D^{2}(u,v)/2\sigma ^{2}}$ ,其中 $D(u,v)={\sqrt {[(u-M/2)^{2}+(v-N/2)^{2}]}}$ 為離傅立葉轉換原點的距離。
使用下面所列的流程將其位移到頻率矩形的中心。

輸入影像f(x,y)乘上 $(-1)^{x+y}$ 使轉換置中，呈 $D(u,v)={\sqrt {[(u-M/2)^{2}+(v-N/2)^{2}]}}$
計算F(u,v)，即對1.式結果做DFT
將濾波器函數H(u,v)乘上F(u,v)

計算3.結果之IDFT
對4.之結果取實部
5.之結果乘上 $(-1)^{x+y}$ ，並令 $\sigma =D_{0}$ ，可改寫成 $H(u,v)=e^{-D^{2}(u,v)/2D_{0}^{2}}$ ，

其中 $D_{0}$ 為截止頻率。當D(u,v)= $D_{0}$ 時，濾波器為最大值的0.607倍。
因為高斯濾波器的反傅立葉轉換仍然為高斯函數，所以將 $H(u,v)=e^{-D^{2}(u,v)/2D_{0}^{2}}$ 做反傅立葉轉換後得到的空間濾波器不會產生振鈴。

參考資料

Rafael C. Gonzalez,Rachard E.Woods, Digital Image Processing
廖紹綱編譯, 原著 Rafael C. Gonzalez,Rachard E.Woods, 數位影像處理