視訊壓縮
視訊壓縮（英語：Video compression）是指運用資料壓縮技術將數位視訊資料中的冗餘資訊去除，降低表示原始視訊所需的資料量，以便視訊資料的傳輸與儲存。實際上，原始視訊資料的資料量往往過大，例如未經壓縮的電視品質視訊資料的位元率高達216Mbps，絕大多數的應用無法處理如此龐大的資料量，因此視訊壓縮是必要的。目前最新的視訊編碼標準為ITU-T視訊編碼專家組（VCEG）和ISO／IEC動態圖像專家組（MPEG）聯合組成的聯合視訊組（JVT，Joint Video Team）所提出的H.264/AVC[1]。
簡介
視訊壓縮通常包含了一組編碼器和解碼器。編碼器將原始的視訊資料轉換成壓縮後的形式，以便進行傳輸與儲存。解碼器則是將壓縮後的形式轉換回視訊資料的表示。一組成對的編碼器與解碼器通常被合稱為編解碼器（CODEC、enCOder/DECoder）。
壓縮方法
資料壓縮是透過去除資料中的冗餘資訊而達成。就視訊資料而言，資料中的冗餘資訊可以分成四類：
- 時間上的冗餘資訊（temporal redundancy）
- 在視訊資料中，相鄰的幀（frame）與幀之間通常有很強的關連性，這樣的關連性即為時間上的冗餘資訊。
- 空間上的冗餘資訊（spatial redundancy）
- 在同一張幀之中，相鄰的像素之間通常有很強的關連性，這樣的關連性即為空間上的冗餘資訊。
- 統計上的冗餘資訊（statistical redundancy）
- 統計上的冗餘資訊指的是欲編碼的符號（symbol）的機率分布是不均勻（non-uniform）的。
- 感知上的冗餘資訊（perceptual redundancy）
- 感知上的冗餘資訊是指在人在觀看視訊時，人眼無法察覺的資訊。
右上圖為一個典型的視訊編碼器。在進行當前信號編碼時，編碼器首先會產生對當前信號做預測的信號，稱作預測信號（predicted signal），預測的方式可以是時間上的預測（inter prediction），亦即使用先前幀的信號做預測，或是空間上的預測（intra prediction），亦即使用同一張幀之中相鄰像素的信號做預測。得到預測信號後，編碼器會將當前信號與預測信號相減得到殘餘信號（residual signal），並只對殘餘信號進行編碼，如此一來，可以去除一部份時間上或是空間上的冗餘資訊。接著，編碼器並不會直接對殘餘信號進行編碼，而是先將殘餘信號經過變換（通常為離散餘弦變換）然後量化以進一步去除空間上和感知上的冗餘資訊。量化後得到的量化係數會再透過熵編碼，去除統計上的冗餘資訊。
在解碼端，透過類似的相反操作，可以得到重建的視訊資料。
衡量
衡量視訊壓縮技術的優劣，可以從運算複雜度和壓縮品質兩方面來看。就運算複雜度而言，理想的編碼器運算複雜度越低越好。而就壓縮品質而言，必須同時考慮壓縮後視訊的位元率和失真程度。壓縮後的位元率和失真程度皆為越低越好，兩者之間存在一個權衡關係，理想的編碼器旨在追求能夠提供位元率和失真程度間的最佳折衷關係。
一般情況下，編碼器的運算複雜度和壓縮品質之間也存在一個折衷關係，根據應用的不同而有所抉擇。例如當應用為視訊資料的儲存時，可以選擇運算複雜度和壓縮品質較高的設計。而當應用為視訊會議或是手機視訊通話，受限於即時（實時）通訊的要求或是有限的運算資源，可能會選擇運算複雜度和壓縮品質較低的設計。
由於編碼後的影像品質最終是由人眼所判斷的，在衡量失真程度時，應使用與人類視覺感知相符的影像品質衡量標準。然而，傳統所使用的衡量標準像是峰值信噪比和人類視覺感知不全然相關[2]。近幾年已有基於人類視覺感知的影像品質衡量標準被提出，例如結構相似性指標[3]（結構相似性 index，SSIM index）與視覺資訊忠誠[4]（visual information fidelity，VIF），並且在編碼器的設計中被使用[5]，進一步提昇了壓縮後的影像品質。
標準
視訊編碼標準主要是由ITU-T與ISO／IEC兩大組織制定而成，其發展如下表所示。
| 年份 | 標準 | 制定組織 | 解除版權保護 （DRM-free） |
主要應用 |
|---|---|---|---|---|
| 1984 | H.120 | ITU-T | 是 | |
| 1990 | H.261 | ITU-T | 是 | 視訊會議、視訊通話 |
| 1993 | MPEG-1第二部份 | ISO／IEC | 是 | 影音光碟（VCD） |
| 1995 | H.262/MPEG-2第二部份 | ISO／IEC、ITU-T | 否 | DVD影碟（DVD-Video）、藍光（Blu-Ray）影碟、數位視訊廣播（DVB）、SVCD |
| 1996 | H.263[6] | ITU-T | 視訊會議、視訊通話、3G手機視訊（3GP） | |
| 1999 | MPEG-4第二部份 | ISO／IEC | 否 | |
| 2003 | H.264/MPEG-4 AVC[1] | ISO／IEC、ITU-T | 否 | 藍光（Blu-Ray）影碟、高畫質DVD（HD DVD）、數位視訊廣播（DVB）、流媒體、視頻錄製 |
| 2013 | 高效率視頻編碼（H.265/HEVC） | ISO/IEC、ITU-T | 否 | 超高清藍光光碟（UHD Blu-Ray）、數位視訊廣播（DVB）、流媒體、視頻錄製 |
| 2020 | 多功能視頻編碼（H.266/VVC） | ISO/IEC、ITU-T | 否 | 未普及 |
參見
外部連結
參考資料
- ^ 1.0 1.1 Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC), May 2003.
- ^ Zhou Wang and Alan C. Bovik, "Mean squared error: Love it or leave it? - A new look at signal fidelity measures," IEEE Signal Processing Magazine, vol. 26, no. 1, pp 98−117, Jan. 2009.
- ^ Zhou Wang, Alan C. Bovik, Hamid R. Sheikh, and Eero P. Simoncelli, "Image quality assessment: from error visibility to structural similairty," IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600−612, Apr. 2004.
- ^ H. R. Sheikh and A. C. Bovik, "Image information and visual quality," IEEE Trans. Image Process., vol.15, no.2, pp.430−444, Feb. 2006.
- ^ Z. Y. Mai, C. L. Yang, K. Z. Kuang and L. M. Po, "A novel motion estimation method based on structural similarity for H.264 inter prediction,」 in Proc. IEEE Int. Conf. on Acoustics, Speech, and Signal Processing, vol. 2, pp. 913−916, May 2006.
- ^ ITU-T, "Video coding for low bit rate communications," ITU-T Recommendation H.263, version 2, Jan. 1998.
- ^ Thomas Wiegand, Heiko Schwarz, Anthony Joch, Faouzi Kossentini, and Gary J. Sullivan, "Rate-constrained coder control and comparison of video coding standards," IEEE Trans. Circuits Syst. Video Technol., vol. 13, no. 7, July 2003.