中心極限定理

統計學定理

中心極限定理(英語:central limit theorem,簡作 CLT)是概率論中的一組定理。在概率論中,中心極限定理 (CLT) 確認,在許多情況下,對於獨立並同樣分佈的隨機變量,即使原始變量本身不是正態分佈,標準化樣本均值的抽樣分佈也趨向於標準正態分佈. 這組定理是數理統計學誤差分析的理論基礎,指出了大量隨機變量之和近似服從正態分佈的條件。

10,000 次拋擲硬幣實驗中出現正面的平均比率,每次抽樣(實驗)的樣本數為 200(拋擲 200 次硬幣)

歷史

Tijms (2004, p.169) 寫到:

棣莫佛-拉普拉斯定理

 
用正態分佈逼近二項分佈

棣莫佛-拉普拉斯定理(De Moivre–Laplace theorem)是中央極限定理的最初版本,討論了服從二項分佈的隨機變量序列。它指出,參數為n, p的二項分佈以np為均值、np(1-p) 為方差的正態分佈為極限。

內容

  伯努利實驗中事件 A 出現的次數,每次試驗成功的概率為  ,且  ,則對任意有限區間  

 ,當 

(i)  

(ii)  ,其中 

在高爾頓板問題上的應用

 
高爾頓繪製的高爾頓板模型,其中的小球顯出鐘形曲線。

狄默夫-拉普拉斯定理指出二項分佈的極限為正態分佈。高爾頓板可以看作是伯努利試驗的實驗模型。如果我們把小球碰到釘子看作一次實驗,而把從右邊落下算是成功,從左邊落下看作失敗,就有了一次 的伯努利試驗。小球從頂端到底層共需要經過n排釘子,這就相當於一個n次伯努利試驗。小球的高度曲線也就可以看作二項分佈隨機變量的概率密度函數。因此,中央極限定理解釋了高爾頓板小球累積高度曲線為什麼是正態分佈獨有的鐘形曲線。

林德伯格-萊維定理

 
中央極限定理的動態展示,獨立同分佈隨機變量之和趨近正態分佈。

林德伯格英語Jarl Waldemar Lindeberg-萊維(Lindeberg-Levy)定理,是棣莫佛-拉普拉斯定理的擴展,討論獨立同分佈隨機變量序列的中央極限定理。它表明,獨立同分佈(i.i.d., 即 independent and identically distributed)、且數學期望值和方差有限的隨機變量序列的標準化和以標準正態分佈為極限:

內容

設隨機變量 獨立同分佈, 且具有有限的數學期望值方差  。記

  ,則  

其中 是標準正態分佈的分佈函數。

證明

 特徵函數 ,根據傅立葉轉換,樣本空間中的卷積在特徵函數空間變為乘積,因此 的特徵函數為 .由於  因此

 

所以

 

由於 是連續函數,它對應的分佈函數為 ,因此由逆極限定理

 

定理證畢。

林德伯格-費勒定理

林德伯格英語Jarl Waldemar Lindeberg-費勒(Lindeberg-Feller)定理,是中心極限定理的高級形式,是對林德伯格-萊維定理的擴展,討論獨立的,但不同分佈的情況下的隨機變量和。它表明,滿足一定條件時,獨立的,但不同分佈的隨機變量序列的標準化和依然以標準正態分佈為極限:

內容

記隨機變量序列  獨立但不一定同分佈, 且有有限方差)部分和為

 

 

 .

如果對每個 ,序列滿足

 

則稱它滿足林德伯格(Lindeberg)條件。

滿足此條件的序列趨向於正態分佈,即

 

同時,該條件也是期望值為零、方差有限的獨立變量之和趨於正態分佈的必要條件。

與之相關的是李亞普諾夫(Lyapunov)條件:

 

滿足李亞普諾夫條件的序列,必滿足林德伯格條件。

證明

在此只對較強的李亞普諾夫條件給出證明。

以下證明對每一實數 ,特徵函數滿足 

 

泰勒展開,上式可近似為

 

由李亞普諾夫條件,當 時,第一項收斂於零。

 ,則由李亞普諾夫不等式

 

因此第二項也收斂於零。

證畢。

廣義的定理

中心極限定理指出,隨着隨機變量數量的增加,許多具有有限方差的獨立的且相同分佈的隨機變量的總和將趨於正態分佈。

參閱

參考文獻

  • 李賢平,概率論基礎(第二版),高等教育出版社
  • Olav Kallenberg,現代概率論基礎(第二版),Springer(2002)。

外部連結