邊緣似然

在統計學中, 邊緣似然函數(marginal likelihood function),或積分似然(integrated likelihood),是一個某些參數變量邊緣化的似然函數(likelihood function) 。在貝氏統計範疇,它也可以被稱作為 證據 或者 模型證據的。

概念

給出一組 獨立同分佈的數據點 ,  , 其中θ 是一個通過分佈描述的 隨機變量,即   概率  , 其中θ邊緣分佈(積分結果):

 

上述定義是在貝氏統計範疇給出的。在經典的(頻率派)的統計學中,邊緣似然這一概念產生於聯合參數θ=(ψ,λ),其中 ψ 是我們關心的實際參數,λ是一個不關心的冗餘參數。 如果λ服從概率分佈,那麼通常可以通過邊緣化λ來考慮ψ的似然函數:

 

不幸的是,邊緣似然一般很難計算。只有在邊緣化輸出參數是數據分佈的共軛先驗的情況下, 很少的一部分分佈的可以得到確切解。在其他情況下,需要通過一些數值積分方法得到,無論是通用的法如 高斯求積蒙地卡羅方法,或一種統計問題的專用方法,例如拉普拉斯方法, 吉布斯/梅特羅波利斯採樣,或者最大期望值算法

在貝葉斯的範疇內,這等價於數據點的先驗預測分佈。

應用

貝葉斯模型比較

在貝葉斯模型比較,被邊緣化的變量的參數用於特定類型的模型,其餘可變標識的的模型本身。 在這種情況下,邊緣似然是數據點由模型給出的概率,而不是假設的任何特定的模型參數。 用θ表示模型參數,模型M的邊緣似然是

 

它是在這一背景下,術語模型證據是一種常見表達。這一數量是重要的,因為後驗幾率比為一個模型M1 針對另一個模型M2 的比率邊緣似然,稱為貝葉斯因子:

 

它可以表示成如下形式

後驗幾率 =先驗幾率× 貝葉斯因子

參見

參考文獻

  • Charles S. Bos. "A comparison of marginal likelihood computation methods". In W. Härdle and B. Ronz, editors, COMPSTAT 2002: Proceedings in Computational Statistics, pp. 111–117. 2002. (Available as a preprint on the web: [1]頁面存檔備份,存於互聯網檔案館))
  • The on-line textbook: Information Theory, Inference, and Learning Algorithms], by David J.C. MacKay.