机器学习统计学领域,降维(dimensionality reduction)是指在某些限定条件下,降低随机变量个数,得到一组“不相关”主变量的过程[1]。 降维可进一步细分为变量选择特征提取两大方法。

变量选择

变量选择假定数据中包含大量冗余或无关变量(或称特征、属性、指标等),旨在从原有变量中找出主要变量。现代统计学中对变量选择的研究文献,大多集中于高维回归分析英语High-dimensional_statistics,其中最具代表性的方法包括:

特征提取

特徵提取可以看作变量选择方法的一般化:变量选择假设在原始数据中,变量数目浩繁,但只有少数几个真正起作用;而特征提取则认为在所有变量可能的函数(比如这些变量各种可能的线性组合)中,只有少数几个真正起作用。有代表性的方法包括:

参见

参考文献

  1. ^ Roweis, S. T.; Saul, L. K. Nonlinear Dimensionality Reduction by Locally Linear Embedding. Science. 2000, 290 (5500): 2323–2326. PMID 11125150. doi:10.1126/science.290.5500.2323.