用戶:Ycc69/普通最小二乘法

普通最小二乘法（英語：Ordinary least squares，簡稱：OLS）是回歸分析中最常用的回歸方法之一，屬於線性最小二乘法。其基本思想是令解釋變量（因變量）的估計值儘可能接近實際值，即殘差平方和（residual sum of squares；RSS）最小。

根據高斯-馬爾科夫定理，在給定經典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量。

線性模型

代數形式

假設有一組樣本$\{{\mathbf {x}}_{i},y_{i}\}_{i=1}^{n}$，由$n$個觀測值組成，其中$y_{i}$為被解釋變量，${\mathbf {x}}_{i}=[x_{i1},x_{i2},\cdots ,x_{ip}]^{T}$為$p$個解釋變量（自變量）向量。其線性回歸模型可表示為：

$y_{i}=\beta _{0}+\beta _{1}x_{i1}+\beta _{2}x_{i2}+\cdots +\beta _{p}x_{ip}+\epsilon _{i}$

其中$\epsilon _{i}$為殘差項，假設被解釋變量的估計值${\hat {y}}_{i}=\beta _{0}+\beta _{1}x_{i1}+\beta _{2}x_{i2}+\cdots +\beta _{p}x_{ip}$。則應有：

$\epsilon _{i}={\hat {y}}_{i}-y_{i}$

矩陣形式

記：

${\begin{matrix}{\mathbf {Y}}={\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}}&{\mathbf {X}}={\begin{pmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &\vdots &\vdots \\1&x_{n1}&\cdots &x_{np}\\\end{pmatrix}}\\{\mathbf {\beta }}={\begin{pmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{p}\\\end{pmatrix}}&{\mathbf {\epsilon }}={\begin{pmatrix}\epsilon _{0}\\\epsilon _{1}\\\vdots \\\epsilon _{n}\\\end{pmatrix}}\end{matrix}}$

得到線性回歸模型的矩陣形式：

${\mathbf {Y}}={\mathbf {X}}{\mathbf {\beta }}+{\mathbf {\epsilon }}$