智能車輛強化學習與決策控制技術

第1章 智能車輛系統概述………………………………………………………001
1.1 智能車輛介紹…………………………………………………………003
1.1.1 智能車輛架構 …………………………………………………003
1.1.2 智能車輛發(fā)展摘記 ……………………………………………006
1.2 智能車輛的基本組成部分……………………………………………017
1.2.1 環(huán)境感知與場景理解模塊…………………………………017
1.2.2 決策控制模塊 …………………………………………………021
第2章 強化學習基礎……………………………………………………………025
2.1 強化學習概述 …………………………………………………………027
2.1.1 強化學習的特點 ……………………………………………………028
2.1.2 強化學習的發(fā)展歷史 …………………………………………028
2.2 馬爾可夫決策過程 ……………………………………………………030
2.2.1 馬爾可夫過程 …………………………………………………031
2.2.2 馬爾可夫決策過程分析 ………………………………………033
2.2.3 貝爾曼方程 …………………………………………………………034
2.3 Q迭代與Q學習………………………………………………………038
2.3.1 Q迭代…………………………………………………………040
2.3.2 時序差分算法 …………………………………………………044
2.3.3Q學習………………………………………………………………045
2.4 函數逼近 ……………………………………………………………………049
2.4.1 函數逼近方法 …………………………………………………049
2.4.2 值函數逼近 ……………………………………………………051
2.5 深度強化學習…………………………………………………………055
2.5.1 深度強化學習原理 ……………………………………………055
2.5.2 深度Q網絡……………………………………………………057
第3章 基于經典強化學習的決策控制技術 ……………………………………061
3.1 CARLA仿真平臺介紹 …………………………………………………063
3.2 基于Q學習的決策控制……………………………………………064
3.2.1 縱向決策控制 …………………………………………………064
3.2.2 橫向決策控制 …………………………………………………067
3.2.3 路徑跟蹤 …………………………………………………………069
3.2.4 學習人類駕駛員………………………………………………071
3.3 基于NQL的速度控制 …………………………………………………074
3.3.1 NQL原理 ……………………………………………………………076
3.3.2 NQL模型構建………………………………………………078
3.3.3 NQL方法測試 ……………………………………………………084
第4章 基于分層強化學習的決策控制技術 ……………………………………108
4.1 分層強化學習方法及原理……………………………………………109
4.1.1 半馬爾可夫決策過程 …………………………………………109
4.1.2 分層強化學習原理概述………………………………………111
4.2 基于分層強化學習的自主超車決策方法 …………………………111
4.2.1 基于半馬爾可夫決策過程和運動基元的超車決策
模塊…113
4.2.2 基于馬爾可夫決策過程和社會偏好的超車決策模塊 …121
4.3 基于半馬爾可夫決策過程和運動基元的超車決策模塊仿真
實驗 …………………………………………………………………………124
4.3.1 離線運動基元提取結果………………………………………124
4.3.2 超車決策模塊實驗結果及分析 …………………………125
4.4 基于馬爾可夫決策過程和社會偏好的超車決策模塊實車
實驗 …………………………………………………………………………………127
4.4.1 基于智能駕駛平臺的實車數據采集及預處理……………127
4.4.2 超車決策模塊實驗……………………………………………137
第5章 基于深度強化學習的決策控制技術 ……………………………………141
5.1 基于DQN的超車場景決策控制模型構建………………………142
5.2 基于 DQN的超車決策實驗……………………………………………143
5.3 基于DDPG交叉路口的縱向決策控制模型構建 …………………145
5.3.1 DDPG算法原理…………………………………………………145
5.3.2 縱向決策問題建模 ……………………………………………148
5.3.3 基元庫構建與運動基元自主學習…………………………150
5.3.4 基于基元庫的最優(yōu)基元選擇 …………………………………154
5.4 交叉路口場景下的縱向決策控制仿真實驗………………………157
5.4.1 交叉路口場景簡述……………………………………………157
5.4.2 離線學習與測試……………………………………………………158
5.4.3 對比實驗結果與分析 …………………………………………159
5.5 交叉路口場景下的縱向決策控制實車實驗 ………………………163
5.5.1 交叉路口下實車數據采集與處理…………………………163
5.5.2 實車數據驅動的交叉路口實驗場景…………………………163
5.6 對比實驗結果與分析…………………………………………………166
5.6.1 子任務離線學習任務 …………………………………………166
5.6.2 測試階段 ………………………………………………………………173
第6章 決策的遷移與泛化………………………………………………………177
6.1 遷移學習與認知地圖…………………………………………………178
6.2 基于SR的決策遷移建模……………………………………………179
6.2.1 類人換道場景表征……………………………………………180
6.2.2 基于SR的分層強化學習換道決策 ………………………185
6.2.3 換道場景運動基元 ……………………………………………188
6.2.4 基于場景表征和運動基元的運動規(guī)劃……………………190
6.3 類人可遷移換道模型的可遷移超車實驗測試……………………191
6.3.1 面向超車類人換道場景表征的離線構建…………………191
6.3.2 自主換道超車實驗與結果分析………………………………193
6.4 類人可遷移換道模型的類人實驗測試 ……………………………196
6.4.1 不同風格行為的類人換道場景表征 ………………………196
6.4.2 類人換道運動規(guī)劃實驗結果及分析………………………198
6.4.3 類人換道決策實驗結果及分析………………………………202
參考文獻 ……………………………………………………………………………………206
術語表………………………………………………………………………………212
索引…………………………………………………………………………………………214