相对熵

(重定向自信息增益

KL散度Kullback-Leibler divergence,簡稱KLD[1],在訊息系统中称为相对熵(relative entropy),在连续时间序列中称为随机性(randomness),在统计模型推断中称为訊息增益(information gain)。也称訊息散度(information divergence)。

KL散度是两个機率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下,P表示数据的真实分布,Q表示数据的理论分布、估计的模型分布、或P的近似分布。[1]

定義

對於离散隨機变量,其機率分布PQ的KL散度可按下式定義為

 

等价于

 

即按機率P求得的PQ對數商的平均值。KL散度僅當機率PQ各自總和均為1,且對於任何i皆滿足  時,才有定義。式中出現 的情況,其值按0處理。

對於連續隨機變量,其機率分佈PQ的KL散度可按積分方式定義為 [2]

 

其中pq分別表示分佈PQ的密度。

更一般的,若PQ為集合X的機率測度,且P關於Q絕對連續,則從PQ的KL散度定義為

 

其中,假定右側的表達形式存在,則 Q關於PR–N導數

相應的,若P關於Q絕對連續,則

 

即為P關於Q的相對熵。

特性

相對熵的值為非負數:

 

吉布斯不等式可知,當且僅當  為零。

尽管从直觉上KL散度是个度量或距离函数, 但是它实际上并不是一个真正的度量或距離。因為KL散度不具有对称性:从分布PQ的距离通常并不等于从QP的距离。

 


KL散度和其它量的关系

自信息和KL散度

 


互信息和KL散度

 


信息熵和KL散度

 


条件熵和KL散度

 


交叉熵和KL散度

 

参见

參考文獻

  1. ^ 1.0 1.1 Kullback, S.; Leibler, R. A. On Information and Sufficiency. The Annals of Mathematical Statistics. 1951-03, 22 (1) [2022-08-15]. ISSN 0003-4851. doi:10.1214/aoms/1177729694. (原始内容存档于2022-08-18). 
  2. ^ C. Bishop (2006). Pattern Recognition and Machine Learning. p. 55.