信息瓶颈

信息瓶颈(英語:information bottleneck)是信息论中的一种方法,由纳夫塔利·泰斯比英语Naftali Tishby、费尔南多·佩雷拉(Fernando C. Pereira)与威廉·比亚莱克于1999年提出。[1]对于一随机变量,假设已知其与观察变量之间的联合概率分布。此时,当需要概括(聚类时,可以通过信息瓶颈方法来分析如何最优化地平衡准确度与复杂度(数据压缩)。该方法的应用还包括分布聚类(distributional clustering)与降维等。此外,信息瓶颈也被用于分析深度学习的过程。[2]

信息瓶项方法中运用了互信息的概念。假设压缩后的随机变量为,我们试图用代替来预测。此时,可使用以下算法得到最优的

其中分别为之间、以及之间的互信息,可由计算得到。则表示拉格朗日乘数

参考文献

  1. ^ Tishby, Naftali; Pereira, Fernando C.; Bialek, William. The Information Bottleneck Method (PDF). The 37th annual Allerton Conference on Communication, Control, and Computing: 368–377. September 1999 [2017-10-20]. (原始内容存档 (PDF)于2017-08-29). 
  2. ^ Naftali Tishby, Noga Zaslavsky. Deep Learning and the Information Bottleneck Principle. 2015. arXiv:1503.02406 .