Processing math: 100%

2016年2月21日 星期日

[貝氏] Paper digest(2) Slice sampling

最近啃了大師級學者Neal發表在Annals of Statistics上的這篇原著,十多年前的東西了。殿堂級的期刊果然很難讓人親近啊,有夠多頁,光是讀完都很很令人吐血。

有別於Gibbs sampling和MH sampling, slice sampling屬於Auxiliary sampling的範疇,除了抽出posterior distribution的樣本,更額外抽出另一個輔助性的,domain不一樣的樣本,歐好像有點玄。

總之先來看抽樣步驟:
1)選擇一個 starting point x0 並注意f(x0) 必須大於0 ,並產生一個 Uniform distribution U(0, f(x0)),也就是圖上的綠線


2)由 U(0, f(x0)) 抽出一個 auxiliary variable y0並產生一集合 X={x: f(x)y},也就是圖上的紅色實線。這個動作叫做切割,也就是slice


3)由上一步驟產生的集合 X 中,均勻(uniformly)抽出下一個 x1 ,也就是紅點對用回x軸的位置並回到步驟二



換句話說,擁有越高posterior density的樣本,在每次切割(slice)的時候就越有機會被抽到,如此一來抽樣的結果就會收斂到Posterior distribution