深度強(qiáng)化學(xué)習(xí)：入門與實(shí)踐指南

目　錄

原書(shū)前言
第1章　什么是強(qiáng)化學(xué)習(xí) // 1
1.1　學(xué)習(xí)—監(jiān)督、無(wú)監(jiān)督和強(qiáng)化 // 1
1.2　RL形式和關(guān)系 // 3
1.2.1　獎(jiǎng)勵(lì) // 4
1.2.2　智能體 // 5
1.2.3　環(huán)境 // 5
1.2.4　動(dòng)作 // 6
1.2.5　觀察 // 6
1.3　馬爾可夫決策過(guò)程簡(jiǎn)介 // 8
1.3.1　馬爾可夫過(guò)程 // 8
1.3.2　馬爾可夫獎(jiǎng)勵(lì)過(guò)程 // 11
1.3.3　馬爾可夫決策過(guò)程 // 13
1.4　本章小結(jié) // 16

第2章　OpenAI Gym開(kāi)源平臺(tái) // 17
2.1　智能體剖析 // 17
2.2　硬件和軟件要求 // 19
2.3　OpenAI Gym API // 20
2.3.1　動(dòng)作空間 // 21
2.3.2　觀察空間 // 21
2.3.3　環(huán)境 // 22
2.3.4　創(chuàng)建環(huán)境 // 23
2.3.5　CartPole會(huì)話 // 25
2.4　隨機(jī)CartPole智能體 // 26
2.5　額外的Gym功能—Wrapper和Monitor // 27
2.5.1　Wrapper // 28
2.5.2　Monitor // 30
2.6　本章小結(jié) // 32

第3章　 使用PyTorch進(jìn)行深度學(xué)習(xí) // 33
3.1　張量 // 33
3.1.1　創(chuàng)建張量 // 33
3.1.2　標(biāo)量張量 // 35
3.1.3　張量操作 // 36
3.1.4　GPU張量 // 36
3.2　梯度 // 37
3.2.1　張量和梯度 // 38
3.3　NN構(gòu)建塊 // 40
3.4　定制層級(jí) // 41
3.5　最終的黏合劑—損失函數(shù)和優(yōu)化器 // 43
3.5.1　損失函數(shù) // 44
3.5.2　優(yōu)化器 // 44
3.6　使用TensorBoard監(jiān)控 // 45
3.6.1　TensorBoard簡(jiǎn)介 // 46
3.6.2　繪圖工具 // 47
3.7　示例：在Atari圖像上使用GAN // 48
3.8　本章小結(jié) // 52

第4章　交叉熵方法 // 53
4.1　RL方法的分類 // 53
4.2　實(shí)踐交叉熵 // 54
4.3　CartPole上的交叉熵方法 // 55
4.4　FrozenLake上的交叉熵方法 // 62
4.5　交叉熵方法的理論背景 // 67
4.6　本章小結(jié) // 68

第5章　 表格學(xué)習(xí)與Bellman方程 // 69
5.1　值、狀態(tài)、最優(yōu)性 // 69
5.2　最優(yōu)的Bellman方程 // 70
5.3　動(dòng)作的值 // 72
5.4　值迭代法 // 74
5.5　實(shí)踐中的值迭代 // 75
5.6　FrozenLake中的Q-learning // 80
5.7　本章小結(jié) // 82

第6章　深度Q網(wǎng)絡(luò) // 83
6.1　現(xiàn)實(shí)中的值迭代 // 83
6.2　表格式Q-learning // 84
6.3　深度Q-learning // 88
6.3.1　與環(huán)境的交互 // 89
6.3.2　SGD優(yōu)化 // 90
6.3.3　步驟之間的相關(guān)性 // 90
6.3.4　馬爾可夫性 // 90
6.3.5　DQN訓(xùn)練的最終形式 // 91
6.4　Pong上的DQN // 91
6.4.1　封裝 // 92
6.4.2　DQN模型 // 96
6.4.3　訓(xùn)練 // 98
6.4.4　運(yùn)行與性能 // 105
6.4.5　動(dòng)作中的模型 // 107
6.5　本章小結(jié) // 109

第7章　DQN擴(kuò)展 // 110
7.1　PyTorch Agent Net函數(shù)庫(kù) // 110
7.1.1　智能體 // 111
7.1.2　智能體的經(jīng)驗(yàn) // 112
7.1.3　經(jīng)驗(yàn)緩沖區(qū) // 113
7.1.4　Gym env封裝 // 113
7.2　基本DQN // 113
7.3　N步DQN // 119
7.3.1　實(shí)現(xiàn) // 121
7.4　雙DQN // 123
7.4.1　實(shí)現(xiàn) // 123
7.4.2　結(jié)果 // 126
7.5　有噪網(wǎng)絡(luò) // 127
7.5.1　實(shí)現(xiàn) // 127
7.5.2　結(jié)果 // 130
7.6　優(yōu)先級(jí)重放緩沖區(qū) // 132
7.6.1　實(shí)現(xiàn) // 133
7.6.2　結(jié)果 // 137
7.7　競(jìng)爭(zhēng)DQN // 137
7.7.1　實(shí)現(xiàn) // 138
7.7.2　結(jié)果 // 139
7.8　分類 // 140
7.8.1　實(shí)現(xiàn) // 142
7.8.2　結(jié)果 // 148
7.9　結(jié)合所有 // 149
7.9.1　實(shí)現(xiàn) // 150
7.9.2　結(jié)果 // 154
7.10　本章小結(jié) // 155
參考文獻(xiàn) // 155

第8章　RL用于股票交易 // 156
8.1　貿(mào)易 // 156
8.2　數(shù)據(jù) // 156
8.3　問(wèn)題陳述和關(guān)鍵決策 // 157
8.4　交易環(huán)境 // 159
8.5　模型 // 165
8.6　訓(xùn)練代碼 // 166
8.7　結(jié)果 // 167
8.7.1　前饋模型 // 167
8.7.2　卷積模型 // 170
8.8　要嘗試的事 // 173
8.9　本章小結(jié) // 173

第9章　 策略梯度法：一種替代方案 // 174
9.1　值與策略 // 174
9.1.1　為什么是策略 // 174
9.1.2　策略表示 // 175
9.1.3　策略梯度 // 175
9.2　強(qiáng)化方法 // 176
9.2.1　CartPole的例子 // 177
9.2.2　結(jié)果 // 180
9.2.3　基于策略的方法與基于值的方法 // 181
9.3　強(qiáng)化問(wèn)題 // 181
9.3.1　完整episode是必需的 // 182
9.3.2　高梯度方差 // 182
9.3.3　探索 // 182
9.3.4　樣本之間的相關(guān)性 // 183
9.4　CartPole上的PG // 183
9.5　Pong上的PG // 187
9.6　本章小結(jié) // 190

第10章　Actor-Critic方法 // 191
10.1　方差減少 // 191
10.2　CartPole方差 // 192
10.3　Actor-Critic // 194
10.4　Pong上的A2C // 196
10.5　Pong上的A2C的結(jié)果 // 201
10.6　調(diào)整超參數(shù) // 202
10.6.1　學(xué)習(xí)率 // 203
10.6.2　熵beta // 203
10.6.3　環(huán)境數(shù)量 // 204
10.6.4　batch大小 // 204
10.7　本章小結(jié) // 204

第11章　 異步優(yōu)勢(shì)Actor-Critic方法 // 205
11.1　相關(guān)性和樣本效率 // 205
11.2　在A2C中添加另一個(gè)A // 206
11.3　Python中的多處理 // 208
11.4　A3C—數(shù)據(jù)并行 // 208
11.5　A3C—梯度并行 // 214
11.6　本章小結(jié) // 219

第12章　 用 RL訓(xùn)練聊天機(jī)器人 // 220
12.1　聊天機(jī)器人概述 // 220
12.2　Deep NLP基礎(chǔ)知識(shí) // 221
12.2.1　RNN // 222
12.2.2　嵌入 // 223
12.2.3　編碼器 -解碼器 // 224
12.3　seq2seq訓(xùn)練 // 224
12.3.1　對(duì)數(shù)似然訓(xùn)練 // 224
12.3.2　雙語(yǔ)評(píng)估替補(bǔ)（BLEU）得分 // 226
12.3.3　seq2seq中的RL // 226
12.3.4　自我評(píng)價(jià)序列訓(xùn)練 // 228
12.4　聊天機(jī)器人示例 // 228
12.4.1　示例結(jié)構(gòu) // 229
12.4.2　模塊：cornell.py和data.py // 229
12.4.3　BLEU得分和utils.py // 230
12.4.4　模型 // 231
12.4.5　訓(xùn)練：交叉熵 // 236
12.4.6　執(zhí)行訓(xùn)練 // 239
12.4.7　檢查數(shù)據(jù) // 241
12.4.8　測(cè)試訓(xùn)練的模型 // 243
12.4.9　訓(xùn)練：SCST // 244
12.4.10　運(yùn)行SCST訓(xùn)練 // 250
12.4.11　結(jié)果 // 251
12.4.12　電報(bào)機(jī)器人 // 252
12.5　本章小結(jié) // 254

第13章　Web瀏覽 // 255
13.1　網(wǎng)頁(yè)瀏覽 // 255
13.1.1　瀏覽器自動(dòng)化操作和強(qiáng)化學(xué)習(xí) // 255
13.1.2　Mini World of Bits基準(zhǔn) // 256
13.2　OpenAI Universe // 258
13.2.1　安裝 // 258
13.2.2　動(dòng)作和觀察 // 259
13.2.3　環(huán)境創(chuàng)建 // 259
13.2.4　MiniWoB穩(wěn)定性 // 261
13.3　簡(jiǎn)單的點(diǎn)擊方式 // 261
13.3.1　網(wǎng)格動(dòng)作 // 262
13.3.2　示例概述 // 263
13.3.3　模型 // 264
13.3.4　訓(xùn)練代碼 // 264
13.3.5　啟動(dòng)容器 // 269
13.3.6　訓(xùn)練過(guò)程 // 271
13.3.7　檢查學(xué)到的策略 // 272
13.3.8　簡(jiǎn)單點(diǎn)擊的問(wèn)題 // 273
13.4　人工演示 // 275
13.4.1　記錄演示 // 275
13.4.2　錄制格式 // 277
13.4.3　使用演示進(jìn)行訓(xùn)練 // 279
13.4.4　結(jié)果 // 280
13.4.5　TicTacToe問(wèn)題 // 281
13.5　增加文本描述 // 283
13.6　要嘗試的事情 // 288
13.7　本章小結(jié) // 288

第14章　連續(xù)動(dòng)作空間 // 289
14.1　為什么是連續(xù)空間 // 289
14.2　動(dòng)作空間 // 289
14.3　環(huán)境 // 290
14.4　Actor-Critic（A2C）方法 // 292
14.4.1　實(shí)現(xiàn) // 292
14.4.2　結(jié)果 // 295
14.4.3　使用模型和錄制視頻 // 296
14.5　確定性策略梯度 // 297
14.5.1　探索 // 298
14.5.2　實(shí)現(xiàn) // 298
14.5.3　結(jié)果 // 302
14.5.4　錄制視頻 // 303
14.6　分布式策略梯度 // 304
14.6.1　架構(gòu) // 304
14.6.2　實(shí)現(xiàn) // 304
14.6.3　結(jié)果 // 308
14.7　需要進(jìn)一步嘗試的事情 // 309
14.8　本章小結(jié) // 309

第15章　 信賴域 —TRPO、PPO和ACKTR // 310
15.1　引言 // 310
15.2　roboschool // 310
15.3　A2C基線 // 311
15.3.1　結(jié)果 // 313
15.3.2　錄制視頻 // 313
15.4　PPO // 313
15.4.1　實(shí)現(xiàn) // 314
15.4.2　結(jié)果 // 317
15.5　TRPO // 318
15.5.1　實(shí)現(xiàn) // 318
15.5.2　結(jié)果 // 319
15.6　使用ACKTR的A2C // 320
15.6.1　實(shí)現(xiàn) // 320
15.6.2　結(jié)果 // 321
15.7　本章小結(jié) // 321

第16章　RL中的黑盒優(yōu)化 // 322
16.1　黑盒方法 // 322
16.2　進(jìn)化策略 // 322
16.2.1　CartPole上的ES // 323
16.2.2　HalfCheetah上的ES // 328
16.3　遺傳算法 // 332
16.3.1　CartPole上的GA // 333
16.3.2　GA調(diào)整 // 335
16.3.3　Cheetah上的GA // 336
16.4　本章小結(jié) // 339
參考文獻(xiàn) // 339

第17章　 超越無(wú)模型 —想象力 // 340
17.1　基于模型與無(wú)模型 // 340
17.2　模型缺陷 // 341
17.3　想象力增強(qiáng)的智能體 // 342
17.3.1　環(huán)境模型 // 343
17.3.2　走步策略 // 343
17.3.3　走步編碼器 // 344
17.3.4　論文結(jié)果 // 344
17.4　Atari Breakout上的I2A // 344
17.4.1　基線A2C智能體 // 344
17.4.2　環(huán)境模型訓(xùn)練 // 345
17.4.3　想象力智能體 // 347
17.5　實(shí)驗(yàn)結(jié)果 // 352
17.5.1　基線智能體 // 352
17.5.2　訓(xùn)練環(huán)境模型權(quán)重 // 353
17.5.3　使用I2A模型進(jìn)行訓(xùn)練 // 354
17.6　本章小結(jié) // 356
參考文獻(xiàn) // 356

第18章　AlphaGo Zero // 357
18.1　棋盤游戲 // 357
18.2　AlphaGo Zero方法 // 358
18.2.1　概述 // 358
18.2.2　MCTS // 359
18.2.3　自玩 // 360
18.2.4　訓(xùn)練和評(píng)估 // 360
18.3　Connect4機(jī)器人 // 361
18.3.1　游戲模型 // 361
18.3.2　實(shí)現(xiàn)MCTS // 363
18.3.3　模型 // 368
18.3.4　訓(xùn)練 // 369
18.3.5　測(cè)試和比較 // 370
18.4　Connect4結(jié)果 // 370
18.5　本章小結(jié) // 372
參考文獻(xiàn) // 372

本書(shū)總結(jié) // 373