影像平滑化

影像在传输过程中，由于受到通道、劣质取样系统以及其他的干扰影响，导致影像变得粗糙、不清晰，因此，我们需要对影像做平滑处理( 英:Image Smoothing)。其主要目的为降低影像的噪声成分。噪声产生可分为很多种，有些来自系统外部的的干扰(例如：电磁波或是透过电源进入系统的外部噪声)；亦有些来自系统内部的干扰(例如:摄影机的热噪声、电器机械运动而产生的抖动噪声)。噪声产生的原因决定了噪声与影像讯号的关系。而减少噪声的方法可分为两种：一种是在空间域做处理；另一种则是在频率域上做处理。
影像中的噪声通常是和信号混合在一起的，尤其是乘法性的噪声，若平滑处理作得不妥，则会使影像本身的细节部分，像是边缘轮廓、线条等地方模糊不清，进而使影像的品质下降。在做影像平滑处理时，需要以一定的细节模糊做为代价，因此要如何平滑掉影像的噪声又尽量可以保持影像的细节是一个重要的课题。

影像平滑的应用

影像平滑主要是要消除被污染影像的噪声，这是遥感影像处理的研究之一，广泛应用于影像显示、传输、分析、动画制作、媒体合成等领域。此技术是出自于人类视觉系统生理接受特点而设计的一种改善影像品质的方法。处理的对象为在影像生成、传输、处理、显示等过程中受到多种因素扰动形成的加入噪声影像。在影像处理的系统中，影像平滑是影像复原技术里针对“一幅影像中唯一存在的退化是噪声”的特例。

平滑空间滤波器

平滑线性滤波器

平滑线性空间滤波器的输出(响应)是滤波器遮罩的邻域所含像素的平均。这些滤波器有时候被称为平均滤波器(averaging filters)或称为低通滤波器(lowpass filters)。

以滤波器遮罩所定义之邻域中灰阶的平均值取代影像中的每一个像素，这样的程序产生在灰阶上“锐利”变化降低的影像。因为随机噪声通常在灰阶上含有锐利的变化，所以平滑滤波器最明显应用是在减少噪声。但是边缘(几乎总是一幅影像最重要的表达特性)也在灰阶上含有锐利变化的特性，所以平均滤波器有模糊边缘的缺点。此种处理的另一个应用包含假轮廓的平滑，这是由于灰阶数不足所导致的。平均滤波器的一个主要应用是把影像中“不相干”的细节减少。“不相干”指的是小于滤波器遮罩大小的像素区域。

图(一)显示两个3×3的平滑滤波器。第一个滤波器的使用产生在遮罩下之像素的标准平均。这一点以遮罩的系数可由下式来表示：

R=1/9*\sum _{i=1}^{9}z_{i}

,这是由遮罩所定义之 3×3 邻域中像素灰阶的平均。滤波器的系数都为1，而不是1/9。滤波器系数皆设为1的目的是要让计算更有效率。在滤波处理结尾，整个影像除以9。一个 m×n 的遮罩会有一个等于 l/mn 的正规化常数。
显示在图(一)的第二个遮罩产生了权重平均(weighted average)，为得是要强调某些像素的重要性(权重)而牺牲其它的像素。在图(一)第二个所显示的遮罩中，遮罩中心的像素被乘上一个比其它任何数都大的值，因此在计算平均上，给予此像素更多的重要性。其他像素乘上与其离遮罩中心距离成反比的权重函数。对角项比直角的邻近点离遮罩中心更远(\sqrt{2}倍)，因此其权重比中心像素的直接邻近点低。对中心点给最高的权重，然后依其从原点增加之距离函数减少系数的数值，目地只是要在平滑处理中减少模糊的一种挑战。我们也可选出其他的权重来达成相同的目标。但是在图(一)的第二个图中，遮罩中的所有系数和等于16恰等于2的整数乘幂。实际上，一般很难看出由图(一)的遮罩或类似设计平滑后之影像的差异，因为这些遮罩在影像中任何一点跨越的区域都是如此的小。

以一个大小为m × n ( m和n是奇数) 的权重平均滤波器对一个M × N影像滤波的一般实现，如下式表示

g(x,y)={\frac {\sum _{s=-a}^{a}\sum _{t=-b}^{b}w(s,t)f(x+s,y+t)}{\sum _{s=-a}^{a}\sum _{t=-b}^{b}w(s,t)}}

，其中f为大小为M × N的影像w为m×n之滤波器遮罩，a=(m-1)/2，b=(n-1)/2，x=0,1,2,…,M-1，y=0,1,2,…,N-1。完整经过滤波器的影像是由上式所获得的且分母为遮罩系数的总合，因此，此式为一个只需要被计算一次的常数。在大部分的情况下，经过滤波器处理后，这样的比例因子会运用在输出影像的所有像素上。
如先前提到的，空间平均的一个重要应用是为了获得感兴趣物体的整体表示而将一影像模糊，使得较小物体的强度融入背景，而较大的物体变成“像斑点状”，因而容易侦测到。遮罩的大小建立了会被融入背景之物体的相对大小。举例来说，考虑图(二)(a)，它是哈伯望远镜在围绕地球轨道中所得的一个影像。图(二)(b)显示了运用15×15平均遮罩到此影像的结果。可观察出许多物体不是融入背景中就是强度有明显地减少。通常像这样的一个运算处理之后会根据其强度设定临界值来消除物体。使用图(三)的临界值函数的结果显示于图(二)(c)中，其中的临界值等于模糊影像之最高强度的25％。将此结果和原始影像做比较，可以说明对于我们认为会是在该影像中最大以及最亮的物体而言，是个合理的表示。

排序统计滤波器

排序统计滤波器是非线性的空间滤波器，其响应建立在由滤波器所包围之影像区域中所含像素的顺序(排序)上，然后由排序结果决定的值来取代中心像素的值。

中值滤波器 (median filter)

将像素的值用该像素(像素的原始值包含在中值的计算内)近邻灰阶的中间值来取代。中值滤波器相当受欢迎，因为对于某种随机噪声，它们提供了绝佳的噪声降低效能，比起同样大小的线性平滑滤波器有显著较小的模糊化。中值滤波器在脉冲噪声(impulse noise)出现时，特别有用，因为脉冲噪声看起来像是叠加在影像上的白点和黑点，所以又称为胡椒盐式噪声(salt-and-pepper noise)。
一组值的中间值ζ是使集合中半数的值小于或等于ζ，且一半的值大于或等于ζ。为了在一幅影像中的一个点上执行中值滤波，我们首先把问题里的像素和其邻近像素的值排序，并决定它们的中间值，然后把这个值指定到该像素。例如：在一个3 × 3的邻域中，中间值是第五个最大的值；在5× 5的邻域中，中间值是第十三个最大的值，依此类推。当邻域里的几个值相同时，所有相等的值为一组。例如：假设有一个3×3邻域内的数值为(10 , 20 , 20 , 20 , 15 , 20 , 20 , 25 , 100)，这些值被重新排序为(10, 15 , 20 , 20 , 20 , 20 , 20 , 25 , 100 )，产生中间值为20。因此，中间值滤波器的功能是强迫所有不同灰阶度的点更接近期邻近的点。实际上，比起邻近点亮或暗且其面积小于 $n^{2}/2$ (滤波器面积得一半)的单独像素群集，被一个n×n的中间值滤波器所消除。在此情况中的“消除”是指强迫其值至邻近的中间值强度。较大的群集受到显著较小的影响。
虽然中值滤波器在影像处理上一定是最有用的排序统计滤波器，但它绝不是唯一的。中值代表排序集合的第50个百分点，但是读者将会从基本统计学中回想起排序可有其它的可能性。例如：使用100个百分点产生了所谓的最大值滤波器(max filter)，用在找出影像中最亮点时。3×3最大值滤波器的响应是R=max{ $z_{k}$ │ k=1,2,...,9}。零百分比滤波器为最小值滤波器(min filter)，则是找出影像中的最暗点。

频率域的平滑滤波器

影像中的边缘和其它灰阶剧烈变化的部分(例如：噪声)在傅立叶转换中含有大量的高频成分，因此，将已知影像转换中的一特定高频范围衰减可以使影像平滑在频率域上达成。
频率域上滤波器的基本“模型”如下所示：

G(u,v)=H(u,v)F(u,v)

，其中F(u , v)是要平滑影像的傅立叶转换。目标是选择一个滤波器转移函数H(u,v)，透过衰减F(u ,v)的高频分量来得到G(u,v)。
在此，考虑3种低通滤波器：理想滤波器、巴特沃斯滤波器以及高斯滤波器。这三个滤波器涵盖了从非常锐利(理想滤波器)到非常平滑(高斯滤波器)的滤波器函数。巴特沃斯滤波器有一个参数，称为滤波器阶数(Order)。对于此参数较高的值，巴特沃斯滤波器趋近于理想滤波器的形式。对于低阶的值，巴特沃斯滤波器会有类似高斯滤波器的平滑形式，因此，巴特沃斯滤波器可以视为在两个“极端”之间的过度。

理想低通滤波器 (Ideal lowpass filter , 2-D ILPF)

我们能想像的最简单低通滤波器是“截止”所有傅立叶转换高频成分的一个滤波器，凡是距离大于从(置中)转换的原点起算的一个指定距离的高频成分都消除掉。这样的一个滤波器称为二维理想低通滤波器(2-D ideal lowpass filter , 2-D ILPF)并有转栘函数

H(u,v)={\begin{cases}1,ifD(u,v)\leq D_{0}\\0,ifD(u,v)>D_{0}\\\end{cases}}

，其中 $D_{0}$ 是一个指定的非负数值，而D(u,v)是从点(u,v)到频率矩形原点的距离。如果考虑的影像大小为M×N，则我们知道它的转换也是这个大小，因为转换已经被置中，所以频率矩形的中心是在(u,v)=( M/2 , N/2 )。在此情形下，从任何点(u,v)到傅立叶转换中心(原点)的距离为

D(u,v)={\sqrt {[(u-M/2)^{2}+(v-N/2)^{2}]}}

图(四)显示以u和v为函数之H(u,v)的三维透视图，而图(四)显示以一影像来呈现H(u,v)。理想滤波器(ideal filter)指的是在半径为 $D_{0}$ 圆内的所有频率分量无衰减的通过，而圆外所有的频率分量完全被衰减。在此所考虑的低通滤波器对原点是径向对称的，亦即只要有一个剖面(其延展是从原点出发沿半径方向之距离的函数)就可以了，如图(四)所示。将剖面图绕原点旋转 $360^{\circ }$ ，可得到完整的滤波器转移函数。
对于一个理想低通滤波器的剖面，H(u ,v)=1和H(u,v)=0之间的过渡点通常称为截止频率(cutoff frequency)。例如：在图(四)中，截止频率是 $D_{0}$ 。理想低通滤波器的锐利截止频率仅能用计算机中来实现。
理想低通滤波器在对影像做平滑处理时，会有振铃(ringing)产生，可用回旋积定理来解释此现象。假设原始影像f(x,y)、模糊影像g(x,y)在频率域上的表达如下所示

G(u,v)=H(u,v)F(u,v)

，其中F(u,v)是原始影像f(x,y)的傅立叶转换，G(u,v) 是模糊影像g(x,y)的傅立叶转换及H(u,v)是理想低通滤波器函数。借由折积定理，其在空间域对应到关系式为

g(x,y)=h(x,y)*f(x,y)

，其中"*"为折积运算符号。滤波器函数h(x,y)有两个主要的特征：在原点有一个主宰成分，和以中心成分为圆心的同心圆圆形成分。中心成分主要是造成模糊，即平滑效应；同心圆成分主要造成理想滤波器的振铃。

巴特沃斯低通滤波器 (Butterworth Ideal lowpass filter, BILF)

距离原点 $D_{0}$ 之截止频率的n阶巴特沃斯低通滤波器的转移函数，定义为

H(u,v)={\frac {1}{1+[D(u,v)/D_{0}]^{2n}}}

，其中 $D(u,v)={\sqrt {[(u-M/2)^{2}+(v-N/2)^{2}]}}$

图(五)显示出巴特沃斯低通滤波器函数的透视图、影像显示和径向剖面图。
不像理想低通滤波器(ILPF) , 巴特沃斯低通滤波器的转换函数并没有尖锐的不连续点来建立通过和滤除频率之间清楚的分界。对于有平滑转换函数的滤波器，通常将截止频率轨迹定义在H(u , v)降到它的最大值时的某个比例的点。在上式的情形下，当 $D(u,v)=D_{0}$ 时，H( u , v )=0.5 (从其最大值1下降50 %)。
一阶的巴特沃斯滤波器没有振铃也没有负的值，二阶的滤波器有轻微的振铃和较小的负值，与理想滤波器相比较不明显。但在高阶的滤波器中，巴特沃斯滤波器产生的明显的振铃现象。愈高阶的巴特沃斯滤波器与理想滤波器的效应是相同的。通常，二阶的巴特沃斯滤波器是在有效的低通滤波和可接受的振铃特征之间一个好的折衷点。

高斯低通滤波器 (Gaussian lowpass filter, GLPF)

一维的高斯低通滤波器可当作空间域与频率域转换的辅助工具。这些滤波器的二维形式为 $H(u,v)=e^{-D^{2}(u,v)/2\sigma ^{2}}$ ,其中 $D(u,v)={\sqrt {[(u-M/2)^{2}+(v-N/2)^{2}]}}$ 为离傅立叶转换原点的距离。
使用下面所列的流程将其位移到频率矩形的中心。

输入影像f(x,y)乘上 $(-1)^{x+y}$ 使转换置中，呈 $D(u,v)={\sqrt {[(u-M/2)^{2}+(v-N/2)^{2}]}}$
计算F(u,v)，即对1.式结果做DFT
将滤波器函数H(u,v)乘上F(u,v)

计算3.结果之IDFT
对4.之结果取实部
5.之结果乘上 $(-1)^{x+y}$ ，并令 $\sigma =D_{0}$ ，可改写成 $H(u,v)=e^{-D^{2}(u,v)/2D_{0}^{2}}$ ，

其中 $D_{0}$ 为截止频率。当D(u,v)= $D_{0}$ 时，滤波器为最大值的0.607倍。
因为高斯滤波器的反傅立叶转换仍然为高斯函数，所以将 $H(u,v)=e^{-D^{2}(u,v)/2D_{0}^{2}}$ 做反傅立叶转换后得到的空间滤波器不会产生振铃。

参考资料

Rafael C. Gonzalez,Rachard E.Woods, Digital Image Processing
廖绍纲编译, 原著 Rafael C. Gonzalez,Rachard E.Woods, 数位影像处理