2016年2月21日 星期日

[貝氏] Paper digest(2) Slice sampling

最近啃了大師級學者Neal發表在Annals of Statistics上的這篇原著,十多年前的東西了。殿堂級的期刊果然很難讓人親近啊,有夠多頁,光是讀完都很很令人吐血。

有別於Gibbs sampling和MH sampling, slice sampling屬於Auxiliary sampling的範疇,除了抽出posterior distribution的樣本,更額外抽出另一個輔助性的,domain不一樣的樣本,歐好像有點玄。

總之先來看抽樣步驟:
1)選擇一個 starting point $x_{0}$ 並注意$f(x_{0})$ 必須大於$0$ ,並產生一個 $Uniform\ distribution\ U(0,\ f(x_{0}))$,也就是圖上的綠線


2)由 $U(0,\ f(x_{0}))$ 抽出一個 auxiliary variable $y_{0}$並產生一集合 $X^{*} = \{x:\ f(x)\geq y\}$,也就是圖上的紅色實線。這個動作叫做切割,也就是slice


3)由上一步驟產生的集合 $X^{*}$ 中,均勻(uniformly)抽出下一個 $x_{1}$ ,也就是紅點對用回x軸的位置並回到步驟二



換句話說,擁有越高posterior density的樣本,在每次切割(slice)的時候就越有機會被抽到,如此一來抽樣的結果就會收斂到Posterior distribution