特徵函數 (概率論)

函數

概率論中,任何隨機變量特徵函數(縮寫:ch.f,複數形式:ch.f's)完全定義了它的概率分布。在直線上,它由以下公式給出,其中是任何具有該分布的隨機變量:

The characteristic function of a uniform U(–1,1) random variable. This function is real-valued because it corresponds to a random variable that is symmetric around the origin; however characteristic functions may generally be complex-valued.

其中是一個實數虛數單位表示期望值

矩母函數來表示(如果它存在),特徵函數就是的矩母函數,或在虛數軸上求得的矩母函數。

與矩母函數不同,特徵函數總是存在。

如果累積分布函數,那麼特徵函數由黎曼-斯蒂爾傑斯積分給出:

概率密度函數存在的情況下,該公式就變為:

如果是一個向量值隨機變量,我們便取自變量為向量,數量積

上的每一個概率分布都有特徵函數,因為我們是在有限測度的空間上對一個有界函數進行積分,且對於每一個特徵函數都正好有一個概率分布。

一個對稱概率密度函數的特徵函數(也就是滿足)是實數,因為從所獲得的虛數部分與從所獲得的相互抵消。

性質

連續性

勒維連續定理說明,假設 為一個隨機變量序列,其中每一個 都有特徵函數 ,那麼它依分布收斂於某個隨機變量 

  

如果

  

  處連續,  的特徵函數。

勒維連續定理可以用來證明弱大數定律

反演定理

在累積概率分布函數與特徵函數之間存在雙射。也就是說,兩個不同的概率分布不能有相同的特徵函數。

給定一個特徵函數φ,可以用以下公式求得對應的累積概率分布函數 

 

一般地,這是一個廣義積分;被積分的函數可能只是條件可積而不是勒貝格可積的,也就是說,它的絕對值的積分可能是無窮大。[1]

博赫納-辛欽定理/公理化定義

任意一個函數 是對應於某個概率律 的特徵函數,當且僅當滿足以下三個條件:

  1.  是連續的;
  2.  
  3.  是一個正定函數(注意這是一個複雜的條件,與 不等價)。

計算性質

特徵函數對於處理獨立隨機變量的函數特別有用。例如,如果  、……、 是一個獨立(不一定同分布)的隨機變量的序列,且

 

其中 是常數,那麼 的特徵函數為:

 

特別地, 。這是因為:

 

注意我們需要  的獨立性來確立第三和第四個表達式的相等性。

另外一個特殊情況,是  為樣本平均值。在這個情況下,用 表示平均值,我們便有:

 

特徵函數舉例

分布 特徵函數  
退化分布      
伯努利分布      
二項分布      
負二項分布      
泊松分布      
連續均勻分布      
拉普拉斯分布      
正態分布      
卡方分布  k    
柯西分布      
伽瑪分布      
指數分布      
多元正態分布      
多元柯西分布   [2]    

Oberhettinger (1973) 提供的特徵函數表.

特徵函數的應用

由於連續定理,特徵函數被用於中心極限定理的最常見的證明中。

特徵函數還可以用來求出某個隨機變量的。只要第n個矩存在,特徵函數就可以微分n次,得到:

 

例如,假設 具有標準柯西分布。那麼 。它在 處不可微,說明柯西分布沒有期望值。另外,注意到 獨立的觀測的樣本平均值 具有特徵函數 ,利用前一節的結果。這就是標準柯西分布的特徵函數;因此,樣本平均值與總體本身具有相同的分布。

特徵函數的對數是一個累積量母函數,它對於求出累積量是十分有用的;注意有時定義累積量母函數為矩母函數的對數,而把特徵函數的對數稱為第二累積量母函數。

一個例子

具有尺度參數 和形狀參數k伽瑪分布的特徵函數為:

 

現在假設我們有:

  

其中  相互獨立,我們想要知道 的分布是什麼。  特徵函數分別為:

 

根據獨立性和特徵函數的基本性質,可得:

 

這就是尺度參數為 、形狀參數為 的伽瑪分布的特徵函數,因此我們得出結論:

 

這個結果可以推廣到 個獨立、具有相同尺度參數的伽瑪隨機變量:

 

多元特徵函數

如果 是一個多元隨機變量,那麼它的特徵函數定義為:

 

這裡的點表示向量的點積,而向量 位於 對偶空間內。用更加常見的矩陣表示法,就是:

 

例子

如果 是一個平均值為零的多元高斯隨機變量,那麼:

 

其中 表示正定矩陣 Σ的行列式。

矩陣值隨機變量

如果 是一個矩陣值隨機變量,那麼它的特徵函數為:

 

在這裡, 函數, 表示  的矩陣乘積。由於矩陣XT一定有跡,因此矩陣X必須與矩陣T轉置的大小相同;因此,如果Xm × n矩陣,那麼T必須是n × m矩陣。

注意乘法的順序不重要(  )。

矩陣值隨機變量的例子包括威沙特分布矩陣正態分布

相關概念

相關概念有矩母函數概率母函數。特徵函數對於所有概率分布都存在,但矩母函數不是這樣。

特徵函數與傅里葉變換有密切的關係:一個概率密度函數 的特徵函數是 連續傅里葉變換共軛複數(按照通常的慣例)。

 

其中 表示概率密度函數 連續傅里葉變換。類似地,從 可以通過傅里葉逆變換求出 

 

確實,即使當隨機變量沒有密度時,特徵函數仍然可以視為對應於該隨機變量的測度的傅里葉變換。

參考文獻

  1. ^ P. Levy, Calcul des probabilités, Gauthier-Villars, Paris, 1925. p. 166
  2. ^ Kotz et al. p. 37 using 1 as the number of degree of freedom to recover the Cauchy distribution
  • Lukacs E. (1970) Characteristic Functions. Griffin, London. pp. 350
  • Bisgaard, T. M., Sasvári, Z. (2000) Characteristic Functions and Moment Sequences, Nova Science