強化學習導論習題冊

1、1強化學習導論習題冊一、強化學習相關問題1.請列舉三個能夠用強化學習框架描述的例子，并確定每個例子的狀態(tài)、動作以及相應的回報值。請盡量列舉三個不同的例子，并針對其中一個例子，歸納在建模過程中的一些限制因素。答：迷宮，俄羅斯方塊等。2.強化學習框架是否能夠用來描述所有的具有目標導向的任務？如果不可以，你是否可以舉一個反例？答：可以。3.駕駛問題。你可以根據(jù)油門、方向盤、剎車，也就是你身體能接觸到的機械來定義動作?；蛘吣憧梢赃M一步定義它們，

2、當車子在路上行駛時，將你的動作考慮為輪胎的扭矩。你也可以退一步定義它們，首先用你的頭腦控制你的身體，將動作定義為通過肌肉抖動來控制你的四肢?；蛘吣憧梢远x一個高層次的動作，比如動作就是目的地的選擇。上述哪一個定義能夠正確描述環(huán)境與Agent之間的界限？哪一個動作的定義比較恰當，并闡述其原因？答：第一個動作的定義比較恰當，Agent與環(huán)境的界限是指有Agent所能絕對控制的的范圍，并不是指有關Agent所有的信息，題中將司機抽象成一個Ag

3、ent，那么，由司機所能直接操作的只有油門，剎車和方向盤。4.假設將平衡桿問題抽象成一個情節(jié)式任務，同時也添加折扣因子來計算回報值（對于每個狀態(tài)的立即獎賞，設定失敗狀態(tài)的獎賞為0，其他狀態(tài)的獎賞為1）。在該情況下，每個狀態(tài)的回報函數(shù)如何設定？該回報函數(shù)與公式（3.2）有何不同？答：回報函數(shù)：????????????KkktkKtKtttrrrrR01121????與公式（3.2）的區(qū)別就是，在任務描述中是否存在吸收狀態(tài)，在公式中的體現(xiàn)就

4、是，對立即獎賞的累加是否無窮。5.機器人迷宮問題。對其中的獎賞做如下設定，機器人走出迷宮，獎賞為＋1，而在其它情況下獎賞為0。這個任務看上去可以抽象成一個情節(jié)式任務（以走出迷宮作為一個情節(jié)的結束），目標是將期望回報值最大化，如公式（3.1）所示。但是在agent學習一段時間后，你會發(fā)現(xiàn)對于Agent來說，走出迷宮的任務毫無進展。那么，這里問題出在什么地方？如何做出改進提高性能？答：問題出在回報值的設定上，題中設定，機器人走出迷宮的獎賞為

5、1，其他情況為0，那么，對于每個狀態(tài)來說，根據(jù)公式（3.1），每個狀態(tài)的回報值都為1，因此對于機器人的走向沒有任何的導向作用。對于該問題的改進可以使用上個問題的回報函數(shù)，即添加折扣因子?；蛘?，對于回報可以按一下方式進行設定，走出迷宮獎賞為0，其他情況獎賞為1。6.破損視覺系統(tǒng)問題。假設你是一個視覺系統(tǒng)。當你第一次開機的時候，一整幅圖像涌入你的攝像頭。你能夠看到很多東西，但不是所有東西，比如你無法看到被某一物體遮擋住的東西，或者是你背后的

6、東西。在你看到第一個場景之后，你是否可以認為，你所接觸的環(huán)境具有馬爾科夫性，其中的狀態(tài)是馬爾科夫狀態(tài)？再假設你是一個破損的視覺系統(tǒng)，你的攝像頭壞了，這種情況，你接收不到任何影像，那么在這種情況下，是否可以認為你所接觸的環(huán)境具有馬爾科夫性，其中的狀態(tài)是馬爾科夫狀態(tài)？3KsVC?????)(即：)1(???CK11.考慮在情節(jié)式任務中，對每個狀態(tài)的立即獎賞加上一個常量C，比如迷宮問題。這樣對最終結果是否有影響？這種情況對于連續(xù)式任務是否有影

7、響，比如針對上一個問題中的格子世界？給出解釋。答：，對于最終的結果沒有影響，通過學習，最終是要能夠得出一組最優(yōu)策略，而對于每個狀態(tài)的具體值是多少不關注，關注的是值之間的一個差異性。12.每個狀態(tài)的狀態(tài)值函數(shù)的值是由當前狀態(tài)下的動作值函數(shù)的值以及動作的選擇概率說確定的。我們可以用一幅回溯圖來表示它們之間的關系：根據(jù)上圖，給出和之間的等量關系。)(sV?)(asQ?答：)()()(asQassVa?????13.動作值函數(shù)的值可以被分成兩部

8、分，期望立即獎賞值，該值不依賴與策略)(asQ??，和后續(xù)回報值的累加和，該值依賴于后續(xù)狀態(tài)和策略。我們依然用一個回溯圖來?表示，根節(jié)點是一個動作（狀態(tài)動作對），分支節(jié)點是可能的后續(xù)狀態(tài)：根據(jù)上圖，給出和之間的等量關系。)(asQ?)(sV?答：)()(sVRPasQasssass??????14.根據(jù)高爾夫球問題，描述最優(yōu)狀態(tài)值函數(shù)。答：對與每次球的落點，根據(jù)動作driver和putter所能到達的不同落點和每個落點的狀態(tài)值，確定下一