對數求和不等式

對數求和不等式(Log sum inequality)是一個不等式 ,可用於證明資訊理論中的多個定理。

定理陳述

對任何非負實數   和正數   ,並記

  

則有如下的對數求和不等式:

 

上式中,等號成立的充分必要條件是所有   都相等。

證明

設輔助函數   ,容易驗證這個函數是一個凸(Convex)函數,我們有

 

推導中第二行的不等號,是由琴生不等式得到的 (可驗證   )。

應用

對數求和不等式可用於證明資訊理論中的幾個不等式,例如吉布斯不等式KL散度的基本性質 。

例如,證明吉布斯不等式時,將  看作   ,將   看作  ,得到

 

一般情形

這個不等式對於收斂的無窮級數亦成立,即當   時,附加假設    即可使不等式成立。

另一種推廣則是將對數函數一般化。只要將對數函數換為任何一個 ,其使得  是一個凸(Convex)函數即可。2004年,Csiszár證明了將對數函數換成一個單調非減函數,定理亦成立。

參考文獻

  • T.S. Han, K. Kobayashi, Mathematics of information and coding. American Mathematical Society, 2001. ISBN 0-8218-0534-7.
  • Information Theory course materials, Utah State University [1]. Retrieved on 2009-06-14.
  • Csiszár, I.; Shields, P. Information Theory and Statistics: A Tutorial (PDF). Foundations and Trends in Communications and Information Theory. 2004, 1 (4): 417–528 [2009-06-14]. doi:10.1561/0100000004. (原始內容存檔 (PDF)於2021-01-25).