吉布斯採樣和梅特羅波利斯－黑斯廷斯算法

吉布斯採樣

吉布斯採樣（英語：Gibbs sampling）是統計學中用於馬爾科夫蒙特卡洛（MCMC）的一種算法，用於在難以直接採樣時從某一多變量概率分佈中近似抽取樣本序列。該序列可用於近似聯合分佈、部分變量的邊緣分佈或計算積分（如某一變量的期望值）。某些變量可能爲已知變量，故對這些變量並不需要採樣。

吉布斯採樣常用於統計推斷（尤其是貝葉斯推斷）之中。這是一種隨機化算法，與最大期望算法等統計推斷中的確定性算法相區別。與其他MCMC算法一樣，吉布斯採樣從馬爾科夫鏈中抽取樣本，可以看作是Metropolis–Hastings算法的特例。

該算法的名稱源於約西亞·威拉德·吉布斯，由斯圖爾特·傑曼與唐納德·傑曼兄弟於1984年提出。

算法

梅特羅波利斯－黑斯廷斯算法

梅特羅波利斯－黑斯廷斯算法（英語：Metropolis–Hastings algorithm）是統計學與統計物理中的一種馬爾科夫蒙特卡洛（MCMC）方法，用於在難以直接採樣時從某一概率分佈中抽取隨機樣本序列。得到的序列可用於估計該概率分佈或計算積分（如期望值）等。梅特羅波利斯－黑斯廷斯或其他MCMC算法一般用於從多變量（尤其是高維）分佈中採樣。對於單變量分佈而言，常會使用自適應判別採樣（adaptive rejection sampling）等其他能抽取獨立樣本的方法，而不會出現MCMC中樣本自相關的問題。

該算法的名稱源於美國物理學家尼古拉斯·梅特羅波利斯[1]與加拿大統計學家W·K·黑斯廷斯。[2]

算法