網(wǎng)絡智能化中的深度強化學習技術

第 1章 網(wǎng)絡智能概述 1
1.1 概述 2
1.1.1 網(wǎng)絡架構的持續(xù)演進 2
1.1.2 網(wǎng)絡管理與控制的挑戰(zhàn) 3
1.1.3 網(wǎng)絡智能的興起 4
1.2 網(wǎng)絡智能的基礎 7
1.2.1 大數(shù)據(jù) 7
1.2.2 算力支持 7
1.2.3 集中式控制 9
1.3 網(wǎng)絡智能的現(xiàn)狀 10
1.3.1 意圖網(wǎng)絡 10
1.3.2 自動駕駛網(wǎng)絡 12
1.3.3 知識定義網(wǎng)絡 14
1.3.4 標準化工作 17
1.4 網(wǎng)絡智能的實現(xiàn)途徑 18
1.4.1 監(jiān)督學習 18
1.4.2 無監(jiān)督學習 20
1.4.3 強化學習 21
1.5 網(wǎng)絡智能的愿景與挑戰(zhàn) 22
1.5.1 網(wǎng)絡智能的愿景 22
1.5.2 網(wǎng)絡智能的挑戰(zhàn) 24
參考文獻 25
第 2章 深度強化學習方法 29
2.1 強化學習方法概述 30
2.1.1 馬爾可夫決策過程 30
2.1.2 多臂賭博機 32
2.1.3 蒙特卡洛樹搜索與時間差分方法 33
2.1.4 值迭代與策略迭代 35
2.2 深度強化學習 37
2.2.1 深度Q網(wǎng)絡 38
2.2.2 策略梯度方法 40
2.2.3 策略梯度單調(diào)提升優(yōu)化算法 44
2.2.4 最大熵算法 50
2.3 多智能體強化學習 52
2.3.1 獨立強化學習及其涌現(xiàn)行為分析 53
2.3.2 多智能體通信 55
2.3.3 多智能體合作機制 56
2.3.4 多智能體建模與策略推斷 59
2.4 分層強化學習 61
2.5 遷移強化學習 64
2.5.1 遷移強化學習框架 65
2.5.2 根據(jù)遷移設置的分類 66
2.5.3 根據(jù)遷移知識類型的分類 67
2.5.4 根據(jù)遷移目標的分類 68
2.6 多任務強化學習 69
2.6.1 多任務學習基本概念 69
2.6.2 多任務強化學習 70
2.6.3 基于多任務學習的遷移強化學習 71
2.7 逆強化學習 73
2.8 分布式強化學習 75
參考文獻 77
第3章 基于強化學習的無線接入優(yōu)化 81
3.1 多信道無線接入 81
3.1.1 多信道無線接入概述 82
3.1.2 基于DRL的動態(tài)多信道無線接入 83
3.1.3 異構無線網(wǎng)絡的多信道接入 87
3.2 異構無線網(wǎng)絡的調(diào)制和編碼 91
3.2.1 調(diào)制和編碼問題概述 91
3.2.2 基于DRL的調(diào)制和編碼 93
3.3 基站自適應能量控制 99
3.3.1 基站自適應能量控制內(nèi)容概述 99
3.3.2 基站自適應能量控制問題引入 100
3.3.3 基于DRL的自適應能量控制 100
參考文獻 105
第4章 基于強化學習的網(wǎng)絡管理 108
4.1 智能服務編排 108
4.1.1 NFV的資源配置 108
4.1.2 服務功能鏈映射 110
4.1.3 服務功能鏈選路 117
4.1.4 無線網(wǎng)絡VNF的資源編排 122
4.2 智能網(wǎng)絡切片 124
4.2.1 網(wǎng)絡切片的需求與概念 124
4.2.2 網(wǎng)絡切片的資源管理 127
4.2.3 無線接入網(wǎng)切片 128
4.2.4 核心網(wǎng)切片 133
參考文獻 136
第5章 基于強化學習的網(wǎng)絡控制 141
5.1 智能路由控制 141
5.1.1 時間相關QoS的路由控制 143
5.1.2 邊緣網(wǎng)絡路由控制 147
5.1.3 帶緩存的DCN路由控制 151
5.2 智能擁塞控制 158
5.2.1 多路徑TCP控制 160
5.2.2 智能擁塞控制模型Aurora 164
5.3 智能流量調(diào)度 167
5.3.1 流量工程概述 168
5.3.2 智能流量調(diào)度 169
5.3.3 分布式流量調(diào)度 170
參考文獻 172
第6章 基于強化學習的任務調(diào)度 175
6.1 并行計算的任務調(diào)度 175
6.1.1 問題定義 176
6.1.2 基于RL的并行任務調(diào)度方法 177
6.1.3 基于DRL的并行任務調(diào)度方法 178
6.2 基于有向無環(huán)圖的任務調(diào)度 182
6.2.1 分布式系統(tǒng)任務模型 182
6.2.2 邊緣計算任務調(diào)度 183
6.2.3 云計算的任務調(diào)度 185
6.2.4 數(shù)據(jù)處理集群的任務調(diào)度 188
6.3 混合任務調(diào)度 192
6.3.1 多類型任務調(diào)度 192
6.3.2 任務調(diào)度相關的聯(lián)合優(yōu)化 195
參考文獻 198
第7章 基于強化學習的流媒體控制 200
7.1 超低時延的流媒體傳輸 201
7.1.1 超低時延的流媒體傳輸框架 201
7.1.2 碼率自適應算法 204
7.1.3 基于強化學習的超低時延傳輸算法 206
7.2 個性化的流媒體傳輸 210
7.2.1 個性化用戶體驗 210
7.2.2 基于強化學習的個性化QoE設計 212
7.3 新場景下的流媒體傳輸展望 214
參考文獻 215
第8章 基于強化學習的自組織網(wǎng)絡 218
8.1 網(wǎng)聯(lián)自動駕駛 218
8.1.1 車載通信任務 218
8.1.2 車載資源分配 221
8.2 無人機網(wǎng)絡概述 226
8.2.1 無人機通信資源調(diào)度 227
8.2.2 無人機公平效率覆蓋 231
8.2.3 無人機傳感數(shù)據(jù)收集 235
參考文獻 238
名詞索引 241