User:Ycc69/普通最小二乘法

普通最小二乘法(英语:Ordinary least squares,简称:OLS)是回归分析中最常用的回归方法之一,属于线性最小二乘法。其基本思想是令解释变量(因变量)的估计值尽可能接近实际值,即残差平方和(residual sum of squares;RSS)最小。

根据高斯-马尔科夫定理,在给定经典线性回归的假定下,最小二乘估计量是具有最小方差的线性无偏估计量。

线性模型

代数形式

假设有一组样本 ,由 个观测值组成,其中 为被解释变量,  个解释变量(自变量)向量。其线性回归模型可表示为:

 

其中 为残差项,假设被解释变量的估计值 。则应有:

 

矩阵形式

记:

 

得到线性回归模型的矩阵形式: