通用近似定理

在人工神经网络的数学理论中， 通用近似定理（或稱萬能近似定理）指出人工神經網络近似任意函數的能力^[1]。通常此定理所指的神經網路爲前饋神經網路，並且被近似的目標函數通常爲輸入輸出都在歐幾里得空間的連續函數。但亦有研究將此定理擴展至其他類型的神經網路，如卷積神經網路^[2]^[3]、放射狀基底函數網路^[4]、或其他特殊神經網路^[5]。

此定理意味着神經網路可以用來近似任意的復雜函數，並且可以達到任意近似精準度。但它並沒有說明要如何選擇神經網絡參數（權重、神經元數量、神經層層數等等）來達到想近似的目標函數。

历史

1900年代

1950年代至60年代

苏联数学家安德烈·柯尔莫哥洛夫與學生弗拉基米尔·阿诺尔德在1950年代及60年代期間，證明多元函數可分解為以下形式（e.g. Kolmogorov–Arnold表示定理（英语：Kolmogorov–Arnold representation theorem））:

f(\mathbf {x} )=f(x_{1},\ldots ,x_{n})=\sum _{q=0}^{2n}\Phi _{q}\left(\sum _{p=1}^{n}\phi _{q,p}(x_{p})\right)

.

1980年代後

乔治·西本科于1989年证明了單一隱藏層、任意宽度、並使用S型函數作爲激勵函數的前饋神經網路的通用近似定理^[6]。科特·霍尼克（英語：Kurt Hornik）在1991年证明，激勵函數的選擇不是關鍵，前饋神經網路的多層神經層及多神經元架構才是使神经网络有成为通用逼近器的關鍵^[7]。

2020 量子计算

量子神经网络可以用电路量子计算机的不同数学工具来表示，从量子感知器到变分量子电路，都基于量子逻辑门的组合。变分量子电路基于参数电路，不涉及神经网络。相反，量子感知器能够设计具有与前馈神经网络相同结构的量子神经网络，前提是每个节点的阈值行为不涉及量子态的崩溃，即没有测量过程。 2022 年，这种为量子神经网络提供激活函数行为的免测量构建模块已经被设计出来 ^[8]。量子电路返回与量子比特相关的 -1 到 +1 区间内的压缩函数的任意近似值。这种设计任意量子激活函数的方法通常可以实现量子多感知器和量子前馈神经网络。

參見

Kolmogorov–Arnold表示定理（英语：Kolmogorov–Arnold representation theorem）
代表定理（英语：Representer theorem）
没有免费的午餐定理（英语：No free lunch in search and optimization）
Stone–Weierstrass定理
傅里叶级数
希爾伯特第十三問題

参考文献

^ Nielsen, Michael. 4. Neural Networks and Deep Learning. Determination Press. 2015 [2020-08-27]. （原始内容存档于2017-07-29）（英语）.
^ Zhou, Ding-Xuan (2020) Universality of deep convolutional neural networks; Applied and computational harmonic analysis 48.2 (2020): 787-794.
^ A. Heinecke, J. Ho and W. Hwang (2020); Refinement and Universal Approximation via Sparsely Connected ReLU Convolution Nets; IEEE Signal Processing Letters, vol. 27, pp. 1175-1179.
^ Park, Jooyoung, and Irwin W. Sandberg (1991); Universal approximation using radial-basis-function networks; Neural computation 3.2, 246-257.
^ Yarotsky, Dmitry (2018); Universal approximations of invariant maps by neural networks.
^ Cybenko, G. (1989) "Approximations by superpositions of sigmoidal functions" （页面存档备份，存于互联网档案馆）, Mathematics of Control, Signals, and Systems, 2(4), 303–314. doi:10.1007/BF02551274
^ Kurt Hornik (1991) "", Neural Networks, 4(2), 251–257. doi:10.1016/0893-6080(91)90009-T
^ Maronese, Marco; Destri, Claudio; Prati, Enrico. Quantum activation functions for quantum neural networks. Quantum Information Processing (Springer). 2022, 21 (4): 1-24 [2022-07-20]. arXiv:2201.03700  . doi:10.1007/s11128-022-03466-0. （原始内容存档于2022-07-20）.

[1] Nielsen, Michael. 4. Neural Networks and Deep Learning. Determination Press. 2015 [2020-08-27]. （原始内容存档于2017-07-29）（英语）.

[2] Zhou, Ding-Xuan (2020) Universality of deep convolutional neural networks; Applied and computational harmonic analysis 48.2 (2020): 787-794.

[3] A. Heinecke, J. Ho and W. Hwang (2020); Refinement and Universal Approximation via Sparsely Connected ReLU Convolution Nets; IEEE Signal Processing Letters, vol. 27, pp. 1175-1179.

[4] Park, Jooyoung, and Irwin W. Sandberg (1991); Universal approximation using radial-basis-function networks; Neural computation 3.2, 246-257.

[5] Yarotsky, Dmitry (2018); Universal approximations of invariant maps by neural networks.

[cyb-6] Cybenko, G. (1989) "Approximations by superpositions of sigmoidal functions" （页面存档备份，存于互联网档案馆）, Mathematics of Control, Signals, and Systems, 2(4), 303–314. doi:10.1007/BF02551274

[horn-7] Kurt Hornik (1991) "", Neural Networks, 4(2), 251–257. doi:10.1016/0893-6080(91)90009-T

[maronese-8] Maronese, Marco; Destri, Claudio; Prati, Enrico. Quantum activation functions for quantum neural networks. Quantum Information Processing (Springer). 2022, 21 (4): 1-24 [2022-07-20]. arXiv:2201.03700  . doi:10.1007/s11128-022-03466-0. （原始内容存档于2022-07-20）.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]