非參數回歸

非參數回歸指的是一類回歸分析，其中的預測子不是預先確定的，而根據從數據中獲得的信息。也就是說，預測子與因變量之間的關係不會假定為參數形式。非參數回歸需要更大的樣本量，因為數據必須提供參數模型結構和模型估計值。

定義

非參數回歸中，有隨機變量 $X$ 、 $Y$ ，並假設其關係如下：

\mathbb {E} [Y\mid X=x]=m(x),

其中 $m(x)$ 是某個確定函數。線性回歸也是非參數回歸的一種， $m(x)$ 假定為仿射。有些學者使用了稍強的加性噪聲假設：

Y=m(X)+U,

其中隨機變量 $U$ 是「噪聲項」，均值為0. 若不假設 $m$ 屬於特定的函數參數族，就不可能得到 $m$ 的無偏估計，但大多數估計量在適當條件下都是一致的。

這是非參數回歸模型的非詳盡列表。

高斯過程回歸也稱克里金法，假設回歸曲線的先驗為正態分佈，並假設誤差遵循多元正態分佈，回歸曲線由後驗模式估計。正態先驗可能取決於未知的超參數，可用經驗貝葉斯方法估計。超參數通常指定一個先驗協方差核。若核也要從數據中進行非參數推斷，則可使用臨界濾波器。

平滑樣條法可解釋為高斯過程貨櫃的後驗模式。

使用高斯核平滑器對小數據集（黑點）進行非參數回歸擬合（紅線）。粉色陰影展示了核函數，以獲得給定x值的y估計值。核函數定義了在得出目標點估計值時，給每個數據點的權。

核回歸用核函數卷積數據點位置，從有限的數據點中估計連續因變量。近似地說，核函數說明了「模糊」數據點影響的方法，以便用它們的值預測附近位置的值。

決策樹學習算法可以從數據中學習，以預測因變量。^[2]雖然最初的分類回歸樹（CART）公式僅適用於預測單變量數據，該框架也可用於預測多變量數據，包括時間序列。^[3]

^ Statistical and neural network techniques for nonparametric regression by Vladimir Cherkassky, Filip Mulier https://link.springer.com/chapter/10.1007/978-1-4612-2660-4_39 （頁面存檔備份，存於互聯網檔案館）
^ Breiman, Leo; Friedman, J. H.; Olshen, R. A.; Stone, C. J. Classification and regression trees. Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software. 1984. ISBN 978-0-412-04841-8.
^ Segal, M.R. Tree-structured methods for longitudinal data. Journal of the American Statistical Association (American Statistical Association, Taylor & Francis). 1992, 87 (418): 407–418. JSTOR 2290271. doi:10.2307/2290271.

Bowman, A. W.; Azzalini, A. Applied Smoothing Techniques for Data Analysis. Oxford: Clarendon Press. 1997. ISBN 0-19-852396-3.
Fan, J.; Gijbels, I. Local Polynomial Modelling and its Applications. Boca Raton: Chapman and Hall. 1996. ISBN 0-412-98321-4.
Henderson, D. J.; Parmeter, C. F. Applied Nonparametric Econometrics. New York: Cambridge University Press. 2015. ISBN 978-1-107-01025-3.
Li, Q.; Racine, J. Nonparametric Econometrics: Theory and Practice. Princeton: Princeton University Press. 2007. ISBN 978-0-691-12161-1.
Pagan, A.; Ullah, A. Nonparametric Econometrics . New York: Cambridge University Press. 1999. ISBN 0-521-35564-8.