维基百科

去马赛克

去马赛克（英语：demosaicing，也写作de-mosaicing、demosaicking或debayering）是一种数位影像处理演算法，目的是从覆有滤色阵列（英语：Color filter array）（Color filter array，简称CFA）的感光元件所输出的不完全色彩取样中，重建出全彩影像。此法也称为滤色阵列内插法（CFA interpolation）或色彩重建法（Color reconstruction）[1]。

大多数现代数位相机使用单个覆上滤色阵列的感光元件来取得影像，所以去马赛克是影像处理管线（color image pipeline）中一个必要环节，以将影像重建成一般可浏览的格式。许多数位相机也能够以原始图档储存影像，并允许使用者将之取出，并使用专业影像处理软体去马赛克，而不是使用相机内建的韧体处理。

目标

去马赛克演算法的目标是从CFA色彩通道（Color channels）输出的不完全取样中重建出全彩影像，即重建出各像素完整的RGB三原色组合。此演算法应俱备以下特点：

  • 避免错误颜色杂讯（False color artifacts）产生，例如色彩混叠（Aliases）或出现拉链状（Zippering，即邻近像素出现突兀且不自然的强度改变，有一种拉链状纹路的感觉）以及紫边（Purple fringe）杂讯；
  • 尽量保留影像解析度；
  • 在相机内的硬体限制下，以较低计算复杂度（Computational complexity）实现快速有效的运算处理；
  • 演算法易于分析，以使降噪（Noise reduction）更精确。

滤色阵列

主条目：滤色阵列
 
垒在像素阵列上的拜尔图案排列滤色器。每个2x2的单元包含了两个绿色，一个蓝色，以及一个红色过滤器。

滤色阵列是色彩过滤器在感光元件前的一块滤色马赛克。商务上最常使用的滤色阵列配置是拜尔滤色镜，如图所示。它的奇数列由红色（R）与绿色（G）过滤器交替排列组成，而偶数列则由绿色（G）与蓝色（B）过滤器交替排列组成。绿色过滤器数量是红色、蓝色的两倍，这是为了模拟人眼对绿光更高的敏感度。

因为滤色阵列的色彩取样会自然地产生混叠问题，所以通常会在感光元件以及镜头的光程之间配置光学抗混叠滤波器，以便消除内插法带来的错误颜色杂讯以及色彩混叠。[2]

因为感应器上的每个像素都在滤色器后方，所以输出结果是一个像素值的矩阵，每个数值代表三种滤出颜色之一的原始强度，因此需要去马赛克演算法以估算每个像素各种色彩的色阶（Color levels），而不仅仅是一种色彩的分量。

图解

要从滤色阵列输出的资料中重建出全彩影像，我们可以用内插法来填补空缺。用来做影像重建的数学运算法有不同的实现，总称为去马赛克演算法。

在这个范例里，我们使用Adobe Photoshop的双三次内插法来模拟使用拜尔滤色镜装置（例如数位相机）的去马赛克处理。

下面这张影像模拟了拜尔滤色感光元件的输出；每个像素仅有红、绿、蓝色元素。相应的原始图档与去马赛克重建的图档并排显示于章节底部。

 
拜尔滤色镜 范例
     
红色元素 绿色元素 蓝色元素

数位相机一般会用以上方法来重建RGB影像，生成的影会像以下所示：

   
原始图 重建图

重建影像通常会在颜色均匀的区域表现精确，但解析度（细节与锐度）会有一些损失，也会有边缘杂讯。例如，图像中这些字母的边缘可见明显的彩色条纹（Color fringes）与些许粗糙感（Roughness）。

演算法

单纯内插法（Simple interpolation）

单纯内插法属于均匀网格上的多变数内插法（Multivariate interpolation），演算法对邻近方格的相同色彩元素进行相对直接的数学运算。最简单的方法是近邻内插法（Nearest-neighbor interpolation），直接复制同一色彩通道（Color channel）的邻接像素。若要顾及影像品质，这种方法就不合适了，但它是在有限运算资源下产生影像预览的有效方法。

另外一种方式是双线性内插法，用两个或四个邻接红色像素的平均计算出非红色像素的红色数值，蓝色与绿色计算方式类似。各颜色平面独立内插是更复杂的方法，包括双三次内插法、样条内插法，以及兰克索司重取样法（Lanczos resampling）。

尽管这些方法在影像均匀的区域可以获得不错的结果，但使用纯色滤色阵列时，影像的边缘以及细节之处容易产生严重的去马赛克杂讯 [3]。不过，线性内插与空间-光谱式（Spatio-spectral），或称全色（Panchromatic）滤色阵列结合时，可以获得非常良好的结果。[4] 去马赛克时还可对影像进行简单建模。相同区域的自然影像色彩比率应保持相同，影像感测内插法（Image sensitive interpolation）就是利用了这点 [5]。

影像里的像素相关性（Pixel correlation）

更成熟的去马赛克演算法利用色彩影像中像素的空间、光谱关联[6]。空间相关是指像素在影像的小块匀质区内的色彩值往往相似。光谱相关则是指在小块影像里不同色彩平面像素值之间的依赖性。

这种演算法包括：

  • 可变数目梯度（Variable Number of Gradients）[7]： 此内插法计算相关像素周围的梯度，使用较低的梯度（表示影像更均匀且更类似的部份）来估计。第一版dcraw软体中就有使用，但会有色彩杂讯的困扰。
  • 像素群聚（Pixel Grouping）[8]： 使用有关自然景像的假设来估计。与可变数目梯度演算法相比较，它在自然影像上色彩杂讯。第8.71版的dcraw引进了这个方法，称为做图案化像素群聚（Patterned pixel group）。
  • 自适应均匀定向（Adaptive homogeneity-directed）：此内插法能选择内插的方向，以最大化同质标准（Homogeneity metric），因此一般情况下能够最小化色彩杂讯[9]。它已被建置在dcraw的最近版本里[10]。

动态影像超解析度（Video super-resolution）/ 去马赛克

已有资料显示，超解析度（Super-resolution）与去马赛克是一个相同问题的两个面向，而用统一的内容将它们一起提出来说明是很合理的。[11]记住，这两个问题会带出混叠的问题。因此，特别是在动态影像（多重画格）的重建案例中，这种结合超解析度与去马赛克的方法提供了最佳解决方案。

取舍

举例来说，某些方法可能对自然场景有较好的结果，而某些则对印刷物有较佳的显现。这反应了估计不能准确感知的像素所面临的内在问题。当然，还有常见的估算速度与估算品质之间的取舍。

电脑影像处理软体的使用

从数位相机取出原始图档后，可以使用专门的电脑软体来选择不同的去马赛克演算法处理，以取代相机内写死而无法再更替的演算法。一些原始图档处理程式，例如RawTherapee，让使用者选取想要使用的演算法，不过大多数图像处理程式已设定成使用一种特定的演算法来处理原始图档。各个摄影师处理的原始图档细节和纹理的差异，主要来自于选择不同的去马赛克演算法；通常摄影师会以自己的审美观使用自己所偏好的应用程式。

另外，由去马赛克所产生的色彩杂讯可以为辨识伪造图片（Photo forgeries）提供重要线索[12]。

相关文章

参考资料

  1. ^ Boris Ajdin; Matthias B. Hullin, Christian Fuchs, Hans-Peter Seidel, Hendrik P. A. Lensch MPI Informatik. 沿著一維特徵均勻處理的去馬賽克方法 (PDF). Saarbrucken Germany. [2016-04-26]. （原始内容 (PDF)存档于2016-05-09）. 
  2. ^ Adrian Davies 与 Phil Fennessy. 寫給攝影師的數位影像 Fourth. Focal Press. 2001. ISBN 0-240-51590-0. 
  3. ^ Lanlan Chang 与 Yap-Peng Tan. 使用合成式濾色陣列去馬賽克達成有效的雜訊抑制 (PDF): 2. [2016-04-26]. （原始内容 (PDF)存档于2009-12-29）. 
  4. ^ Keigo Hirakawa 与 Patrick J. Wolfe. 為了強化影像保真度的空間-光譜濾色陣列設計 (PDF). [2016-04-26]. （原始内容 (PDF)存档于2011-07-20）. 
  5. ^ R. Kimmel. 去马赛克: 从彩色CCD范例做影像重建 （页面存档备份，存于互联网档案馆）。 IEEE Trans. on Image Processing, 8(9):1221–8, Sept. 1999.
  6. ^ Lanlan Chang 与 Yap-Peng Tan. 使用合成式濾色陣列去馬賽克達成有效的雜訊抑制 (PDF). [2016-04-26]. （原始内容 (PDF)存档于2009-12-29）. 
  7. ^ Ting Chen. 使用一個門檻值基礎的可變數目梯度實現內插法. [2016-04-27]. （原始内容存档于2012-04-22）. 
  8. ^ Chuan-kai Lin, Portland State University. 為濾色陣列去馬賽克的像素群聚. 2004 [2016-04-27]. （原始内容存档于2016-09-23）. 
  9. ^ Kiego Hirakawa; Thomas W. Parks. 自適性同次定向去馬賽克演算法 (PDF). [2016-04-27]. （原始内容存档 (PDF)于2021-02-24）. 
  10. ^ 在Linux解码原始数位相片的图档 （页面存档备份，存于互联网档案馆）, Dave Coffin.
  11. ^ Sina Farsiu, Michael Elad, Peyman Milanfar. 彩色影像多重畫格去馬賽克以及超解析度 (PDF). IEEE Trans. on Image Processing. 2006, 15 (1): 141–159 [2016-04-27]. doi:10.1109/TIP.2005.860336. （原始内容存档 (PDF)于2009-12-29）. 
  12. ^ YiZhen Huang 与 YangJing Long. 基於二次像素相關模式（Quadratic pixel correlation model）的去馬賽克辨識程式，使用於數位相片認證 (PDF). Proc. IEEE Conference on Computer Vision and Pattern Recognition. 2008: 1–8 [2016-04-28]. （原始内容 (PDF)存档于2010-06-17）. 

备注

延伸阅读

检索自“https://zh.wikipedia.org/w/index.php?title=去馬賽克&oldid=83249803”