二次型 (統計)

在多元變量統計中，如果 $\varepsilon$ 為 $n$ 維隨機向量， $\Lambda$ 是一個 $n$ 維對稱矩陣，則隨機變量 $\varepsilon ^{T}\Lambda \varepsilon$ 稱為 $\varepsilon$ 的二次型。

期望

二次型的期望可表示為，

$\operatorname {E} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=\operatorname {tr} \left[\Lambda \Sigma \right]+\mu ^{T}\Lambda \mu$

其中，$\mu$ 和 $\Sigma$ 分別表示 $\varepsilon$ 的期望值 和方差-協方差矩陣， tr 為矩陣的跡。其結果僅僅取決於是否存在 $\mu$ 和 $\Sigma$；並且，$\varepsilon$ 的正態性不是必要條件。

關於隨機變量的二次型參考書籍 

證明

由於二次型是純量，所以二次型的跡就是它本身$\operatorname {E} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=\operatorname {tr} (\operatorname {E} [\varepsilon ^{T}\Lambda \varepsilon ])$。

由於矩陣的跡是其對角線元素之和（即矩陣元素線性組合的結果），因此服從期望的線性，有

$\operatorname {tr} (\operatorname {E} \left[\varepsilon ^{T}\Lambda \varepsilon \right])=\operatorname {E} [\operatorname {tr} (\varepsilon ^{T}\Lambda \varepsilon )].$

利用跡的可交換性，

$\operatorname {E} [\operatorname {tr} (\varepsilon ^{T}\Lambda \varepsilon )]=\operatorname {E} [\operatorname {tr} (\Lambda \varepsilon \varepsilon ^{T})].$

由期望的線性可得

$\operatorname {E} [\operatorname {tr} (\Lambda \varepsilon \varepsilon ^{T})]=\operatorname {tr} (\Lambda \operatorname {E} (\varepsilon \varepsilon ^{T})).$

由方差的標準屬性可知：

$\operatorname {tr} (\Lambda (\Sigma +\mu \mu ^{T})).$

再次應用跡的可交換性可得：

$\operatorname {tr} (\Lambda \Sigma )+\operatorname {tr} (\Lambda \mu \mu ^{T})=\operatorname {tr} (\Lambda \Sigma )+\operatorname {tr} (\mu ^{T}\Lambda \mu )=\operatorname {tr} (\Lambda \Sigma )+\mu ^{T}\Lambda \mu .$

方差

通常情況下，二次型的方差在很大程度上取決於 $\varepsilon$ 的分佈。 然而，如果 $\varepsilon$ 服從多元正態分佈，則二次型的方差的求解非常容易。假設 $\Lambda$ 是一個對稱矩陣，則有，

$\operatorname {var} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=2\operatorname {tr} \left[\Lambda \Sigma \Lambda \Sigma \right]+4\mu ^{T}\Lambda \Sigma \Lambda \mu$ .

事實上，這可以推廣到同一向量 $\varepsilon$ 的兩個二次型的協方差計算中 (注意, $\Lambda _{1}$ 和 $\Lambda _{2}$ 必須都是對稱矩陣):

$\operatorname {cov} \left[\varepsilon ^{T}\Lambda _{1}\varepsilon ,\varepsilon ^{T}\Lambda _{2}\varepsilon \right]=2\operatorname {tr} \left[\Lambda _{1}\Sigma \Lambda _{2}\Sigma \right]+4\mu ^{T}\Lambda _{1}\Sigma \Lambda _{2}\mu$。

不對稱矩陣的方差計算

在某些參考資料中，在 $\Lambda$ 為非對稱矩陣情況下，也錯誤地得到了上述方差/協方差的結果。 在一般情況下，$\Lambda$ 可以通過下面方式得到：

$\varepsilon ^{T}\Lambda ^{T}\varepsilon =\varepsilon ^{T}\Lambda \varepsilon$

因此

$\varepsilon ^{T}{\tilde {\Lambda }}\varepsilon =\varepsilon ^{T}\left(\Lambda +\Lambda ^{T}\right)\varepsilon /2$

但是，這是一個二次型的對稱矩陣 ${\tilde {\Lambda }}=\left(\Lambda +\Lambda ^{T}\right)/2$，所以其均值和方差表達式相同，只是將 $\Lambda$ 替換為 ${\tilde {\Lambda }}$。

二次型舉例

設有觀測值的集合 $y$ 和運算矩陣 $H$，則 $y$ 的殘差平方和可表示為其二次型：

${\textrm {RSS}}=y^{T}(I-H)^{T}(I-H)y.$

其中，矩陣 $H$ 為對稱和等冪的，其誤差為協方差矩陣為 $\sigma ^{2}I$ 的高斯分佈, ${\textrm {RSS}}/\sigma ^{2}$ 為自由度是 $k$ 的卡方分佈，參數為 $\lambda$，有

$k=\operatorname {tr} \left[(I-H)^{T}(I-H)\right]$

$\lambda =\mu ^{T}(I-H)^{T}(I-H)\mu /2$

如果 $Hy$ 在估計 $\mu$ 時沒有偏差，則參數 $\lambda$ 為零且 ${\textrm {RSS}}/\sigma ^{2}$ 服從中心卡方分佈。

參看

• 二次型
• 協方差矩陣