最近啃了大師級學者Neal發表在Annals of Statistics上的這篇原著,十多年前的東西了。殿堂級的期刊果然很難讓人親近啊,有夠多頁,光是讀完都很很令人吐血。
有別於Gibbs sampling和MH sampling, slice sampling屬於Auxiliary sampling的範疇,除了抽出posterior distribution的樣本,更額外抽出另一個輔助性的,domain不一樣的樣本,歐好像有點玄。
總之先來看抽樣步驟:
1)選擇一個 starting point x0 並注意f(x0) 必須大於0 ,並產生一個 Uniform distribution U(0, f(x0)),也就是圖上的綠線
2)由 U(0, f(x0)) 抽出一個 auxiliary variable y0並產生一集合 X∗={x: f(x)≥y},也就是圖上的紅色實線。這個動作叫做切割,也就是slice
3)由上一步驟產生的集合 X∗ 中,均勻(uniformly)抽出下一個 x1 ,也就是紅點對用回x軸的位置並回到步驟二
換句話說,擁有越高posterior density的樣本,在每次切割(slice)的時候就越有機會被抽到,如此一來抽樣的結果就會收斂到Posterior distribution