普通最小平方法

线性回归模型中未知参数的估计方法

迴歸分析當中,最常用的估計迴歸係數)的方法是普通最小平方法(英語:ordinary least squares,簡稱OLS),它基於誤差值之上。用這種方法估計,首先要計算殘差平方和residual sum of squares;RSS),RSS是指將所有誤差值平方加起來得出的數:

的數值可以用以下算式計算出來:

當中的平均值,而的平均值。

假設母體的誤差值有一個固定的變異數,這個變異數可以用以下算式估計:

這個數就是均方誤差(mean square error),這個分母是樣本大小減去模型要估計的參數的量。這個迴歸模型當中有兩個未知的參數()。[1]

而這些參數估計的標準誤差(standard error)為:

有了上面這個模型,研究者手上就有會有的估計值,就可以用這個算式來預測的數值。

參見

參考資料

  1. ^ Steel, R.G.D, and Torrie, J. H., Principles and Procedures of Statistics with Special Reference to the Biological Sciences., McGraw Hill, 1960, page 288.