对数求和不等式

对数求和不等式(Log sum inequality)是一个不等式 ,可用于证明信息论中的多个定理。

定理陈述

对任何非负实数   和正数   ,并记

  

则有如下的对数求和不等式:

 

上式中,等号成立的充分必要条件是所有   都相等。

证明

设辅助函数   ,容易验证这个函数是一个凸(Convex)函数,我们有

 

推导中第二行的不等号,是由琴生不等式得到的 (可验证   )。

应用

对数求和不等式可用于证明信息论中的几个不等式,例如吉布斯不等式KL散度的基本性质 。

例如,证明吉布斯不等式时,将  看作   ,将   看作  ,得到

 

一般情形

这个不等式对于收敛的无穷级数亦成立,即当   时,附加假设    即可使不等式成立。

另一种推广则是将对数函数一般化。只要将对数函数换为任何一个 ,其使得  是一个凸(Convex)函数即可。2004年,Csiszár证明了将对数函数换成一个单调非减函数,定理亦成立。

参考文献

  • T.S. Han, K. Kobayashi, Mathematics of information and coding. American Mathematical Society, 2001. ISBN 0-8218-0534-7.
  • Information Theory course materials, Utah State University [1]. Retrieved on 2009-06-14.
  • Csiszár, I.; Shields, P. Information Theory and Statistics: A Tutorial (PDF). Foundations and Trends in Communications and Information Theory. 2004, 1 (4): 417–528 [2009-06-14]. doi:10.1561/0100000004. (原始内容存档 (PDF)于2021-01-25).