[機器學習] Paper digest (3) Computational rationality: A converging paradigm for intelligence in brains, minds, and machines

原文連結在這裡，一篇登在Science上的review。好久沒寫blog，發現中文整個退化到不行，連帶我原本就不好的英文，真的要變文盲了。

先來個風景照(芬蘭・坦佩雷)



這篇回顧了computational rationality在人工智慧，認知科學及神經科學上的發展。

先稍微整理一下所謂computational rationality：

首先，最終的desicion必須要有最大的expected utility，這樣的概念首先由von Neumann等人[1]提出，即所謂的MEU(maximize expected utility) principle。至於為什麼是expected utility呢？原因是因為我們所身處的世界充滿了不確定性(uncertainty)，也就是凡事皆機率的意思，因此需引入期望值(expected value)的概念。

通常現實世界所處理的問題都頗複雜或是大尺度的(large scale)，因此在計算expected utility時，就經常需要動用逼近(appriximation)等計算技巧。

而appriximation本身也是決策的一環，因為計算需花上可觀的時間及資源，而這也是computational rationality的核心。在最大化expected utility的同時也要將計算所可投注有限資源及時間納入考慮。

至於computational rationality的模型則是建立於：

1. Infernece under uncertainty.

2. The feasibility and implications of actions.

3. Bounded computation power.

4. Multilevel, or multireasoning.


人工智慧

IBM Watson參加電視益智節目時，基本上Watson的計算時間(時間內要作答)和計算能力是被限制的，因此Watson基本上並沒有辦法『想』或是『窮舉』出所謂『完美無誤』的答案，而是要在『有限的時間及資源』下『猜』出『近乎完美』或『正確機率較高』的答案。

當然AI領域還有其他例子，像是Google自動駕駛汽車或是，Microsoft的個人秘書。


認知科學

心理學家發現，人類並非所謂「直覺的統計學家」(intuitive statisticians)。很多時候，人類的決策和所謂的「最佳決策」往往天差地遠。

Computational rationality可以提供一個架構來解釋這種現象。當腦在缺乏足夠資源的情況下被迫要做出決定時，所謂充滿缺陷的決策就會出現，但這些看似非理性的決策很有可能是考量了當下的計算資源所做出最理性的決策(哇勒好玄)。

文中提到抽樣貝氏推論(approximating Bayesian inference by sampling)，可以作為一個例子。基本上，所抽的樣本越多，所得到關於後驗機率分配(posterior distrubution)的資訊就越正確，但在時間及計算能力的限制下，往往只能得到一小部分的樣本，因此讓決策產生偏誤，計算生物學界就有學者此利用抽樣演算法作為模擬神經迴路的行為[2](看到嚇了一跳，有一種這樣也可以的感覺)。

神經科學

Computational rationality可以解釋分別屬於腦中不同的核區(cortex)的兩個系統：model-based system和model-free system的分工。

一般認為，model-based system較依賴經驗，需要較長時間(速度較慢)，卻比model-free system來得有彈性。在剛開始的學習階段，因為model-free system所做出的決策往往較不精準，model-based system通常有較好的效果而被採用。但經過一定時間的學習，model-free system的決策也可以優化到一定程度，這時model-based system反而會被放棄採用。

然而，學界也證實了大腦再選取兩者時，計算的消耗也被考慮在內[3][4]。


未來發展

文末，作者提到computational rationality是一個很有潛力的架構，並且應可以應用在更多不同的領域。然而更進一步的理論架構，以及更多的證實，或甚至是辯論都是學界可以繼續努力的方向。

[1] Von Neumann, J., & Morgenstern, O. (2007). Theory of games and economic behavior. Princeton university press.

[2] Buesing, L., Bill, J., Nessler, B., & Maass, W. (2011). Neural dynamics as sampling: a model for stochastic computation in recurrent networks of spiking neurons. PLoS Comput Biol, 7(11), e1002211.

[3] Daw, N. D., Gershman, S. J., Seymour, B., Dayan, P., & Dolan, R. J. (2011). Model-based influences on humans' choices and striatal prediction errors.Neuron, 69(6), 1204-1215.

[4] Keramati, M., Dezfouli, A., & Piray, P. (2011). Speed/accuracy trade-off between the habitual and the goal-directed processes. PLoS Comput Biol, 7(5), e1002055.