通用近似定理

在人工神经网络的数学理论中， 通用近似定理（或称万能近似定理）指出人工神经网络近似任意函数的能力^[1]。通常此定理所指的神经网络为前馈神经网络，并且被近似的目标函数通常为输入输出都在欧几里得空间的连续函数。但亦有研究将此定理扩展至其他类型的神经网络，如卷积神经网络^[2]^[3]、放射状基底函数网络^[4]、或其他特殊神经网络^[5]。

此定理意味着神经网络可以用来近似任意的复杂函数，并且可以达到任意近似精准度。但它并没有说明要如何选择神经网络参数（权重、神经元数量、神经层层数等等）来达到想近似的目标函数。

历史

1900年代

1950年代至60年代

苏联数学家安德烈·柯尔莫哥洛夫与学生弗拉基米尔·阿诺尔德在1950年代及60年代期间，证明多元函数可分解为以下形式（e.g. Kolmogorov–Arnold表示定理（英语：Kolmogorov–Arnold representation theorem））:

f(\mathbf {x} )=f(x_{1},\ldots ,x_{n})=\sum _{q=0}^{2n}\Phi _{q}\left(\sum _{p=1}^{n}\phi _{q,p}(x_{p})\right)

.

1980年代后

乔治·西本科于1989年证明了单一隐藏层、任意宽度、并使用S型函数作为激励函数的前馈神经网络的通用近似定理^[6]。科特·霍尼克（英语：Kurt Hornik）在1991年证明，激励函数的选择不是关键，前馈神经网络的多层神经层及多神经元架构才是使神经网络有成为通用逼近器的关键^[7]。

2020 量子计算

量子神经网络可以用电路量子计算机的不同数学工具来表示，从量子感知器到变分量子电路，都基于量子逻辑门的组合。变分量子电路基于参数电路，不涉及神经网络。相反，量子感知器能够设计具有与前馈神经网络相同结构的量子神经网络，前提是每个节点的阈值行为不涉及量子态的崩溃，即没有测量过程。 2022 年，这种为量子神经网络提供激活函数行为的免测量构建模块已经被设计出来 ^[8]。量子电路返回与量子比特相关的 -1 到 +1 区间内的压缩函数的任意近似值。这种设计任意量子激活函数的方法通常可以实现量子多感知器和量子前馈神经网络。

参见

Kolmogorov–Arnold表示定理（英语：Kolmogorov–Arnold representation theorem）
代表定理（英语：Representer theorem）
没有免费的午餐定理（英语：No free lunch in search and optimization）
Stone–Weierstrass定理
傅里叶级数
希尔伯特第十三问题

参考文献

^ Nielsen, Michael. 4. Neural Networks and Deep Learning. Determination Press. 2015 [2020-08-27]. （原始内容存档于2017-07-29）（英语）.
^ Zhou, Ding-Xuan (2020) Universality of deep convolutional neural networks; Applied and computational harmonic analysis 48.2 (2020): 787-794.
^ A. Heinecke, J. Ho and W. Hwang (2020); Refinement and Universal Approximation via Sparsely Connected ReLU Convolution Nets; IEEE Signal Processing Letters, vol. 27, pp. 1175-1179.
^ Park, Jooyoung, and Irwin W. Sandberg (1991); Universal approximation using radial-basis-function networks; Neural computation 3.2, 246-257.
^ Yarotsky, Dmitry (2018); Universal approximations of invariant maps by neural networks.
^ Cybenko, G. (1989) "Approximations by superpositions of sigmoidal functions" （页面存档备份，存于互联网档案馆）, Mathematics of Control, Signals, and Systems, 2(4), 303–314. doi:10.1007/BF02551274
^ Kurt Hornik (1991) "", Neural Networks, 4(2), 251–257. doi:10.1016/0893-6080(91)90009-T
^ Maronese, Marco; Destri, Claudio; Prati, Enrico. Quantum activation functions for quantum neural networks. Quantum Information Processing (Springer). 2022, 21 (4): 1-24 [2022-07-20]. arXiv:2201.03700  . doi:10.1007/s11128-022-03466-0. （原始内容存档于2022-07-20）.

[1] Nielsen, Michael. 4. Neural Networks and Deep Learning. Determination Press. 2015 [2020-08-27]. （原始内容存档于2017-07-29）（英语）.

[2] Zhou, Ding-Xuan (2020) Universality of deep convolutional neural networks; Applied and computational harmonic analysis 48.2 (2020): 787-794.

[3] A. Heinecke, J. Ho and W. Hwang (2020); Refinement and Universal Approximation via Sparsely Connected ReLU Convolution Nets; IEEE Signal Processing Letters, vol. 27, pp. 1175-1179.

[4] Park, Jooyoung, and Irwin W. Sandberg (1991); Universal approximation using radial-basis-function networks; Neural computation 3.2, 246-257.

[5] Yarotsky, Dmitry (2018); Universal approximations of invariant maps by neural networks.

[cyb-6] Cybenko, G. (1989) "Approximations by superpositions of sigmoidal functions" （页面存档备份，存于互联网档案馆）, Mathematics of Control, Signals, and Systems, 2(4), 303–314. doi:10.1007/BF02551274

[horn-7] Kurt Hornik (1991) "", Neural Networks, 4(2), 251–257. doi:10.1016/0893-6080(91)90009-T

[maronese-8] Maronese, Marco; Destri, Claudio; Prati, Enrico. Quantum activation functions for quantum neural networks. Quantum Information Processing (Springer). 2022, 21 (4): 1-24 [2022-07-20]. arXiv:2201.03700  . doi:10.1007/s11128-022-03466-0. （原始内容存档于2022-07-20）.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]