深度學習應用與實戰(zhàn)（全彩）

目 錄
第 1 部分 深度學習基礎算法與應用
第 1 章 單層神經(jīng)網(wǎng)絡 2
1.1 深度學習的基本概念 2
1.1.1 深度學習的概述 2
1.1.2 神經(jīng)網(wǎng)絡 3
1.2 深度學習框架 5
1.2.1 常見框架介紹 5
1.2.2 張量 6
1.3 單層神經(jīng)網(wǎng)絡的概述 6
1.3.1 回歸模型 6
1.3.2 二分類模型 10
1.3.3 多分類模型 13
1.4 單層神經(jīng)網(wǎng)絡實現(xiàn)鳶尾花分類 17
1.4.1 使用 TensorFlow 實現(xiàn)鳶尾花分類 17
1.4.2 使用 PyTorch 實現(xiàn)鳶尾花分類 20
本章總結 22
作業(yè)與練習 22
第 2 章 多層神經(jīng)網(wǎng)絡 24
2.1 多層神經(jīng)網(wǎng)絡的概述 24
2.1.1 隱藏層的意義 24
2.1.2 激活函數(shù) 25
2.1.3 反向傳播 27
2.1.4 異或處理代碼實現(xiàn) 28
2.2 梯度下降算法 30
2.2.1 批量梯度下降算法 30
2.2.2 隨機梯度下降算法 31
2.2.3 小批量梯度下降算法 31
2.3 正則化處理 31
2.3.1 L1 正則化與 L2 正則化 31
2.3.2 Dropout 正則化 31
2.3.3 提前停止 32
2.3.4 批量標準化 32
2.4 手寫數(shù)字識別
2.4.1 MNIST 數(shù)據(jù)集簡介 32
2.4.2 使用 TensorFlow 實現(xiàn)MNIST 手寫數(shù)字分類 33
2.4.3 使用 PyTorch 實現(xiàn)MNIST 手寫數(shù)字分類 36
本章總結 39
作業(yè)與練習 39
第 3 章 卷積神經(jīng)網(wǎng)絡 41
3.1 圖像基礎原理 41
3.1.1 像素 41
3.1.2 灰度值 42
3.1.3 彩色圖像表達 42
3.2 卷積的作用及原理 43
3.2.1 卷積的概述 43
3.2.2 卷積運算的原理 43
3.2.3 卷積運算的方式 44
3.2.4 卷積表達的含義 44
3.2.5 卷積相關術語 45
3.3 卷積神經(jīng)網(wǎng)絡的基本結構 46
3.3.1 卷積神經(jīng)網(wǎng)絡的網(wǎng)絡結構 46
3.3.2 卷積層 47
3.3.3 ReLU 層 47
3.3.4 池化層 48
3.3.5 全連接層 49
3.4 基于卷積神經(jīng)網(wǎng)絡實現(xiàn)MNIST 手寫數(shù)字識別 49
3.4.1 構建卷積神經(jīng)網(wǎng)絡模型 49
3.4.2 使用 TensorFlow 實現(xiàn)卷積神經(jīng)網(wǎng)絡 MNIST手寫數(shù)字分類 50
3.4.3 使用 PyTorch 實現(xiàn)卷積神經(jīng)網(wǎng)絡 MNIST 手寫
數(shù)字分類 52
本章總結 55
作業(yè)與練習 55
第 4 章 優(yōu)化算法與模型管理 57
4.1 數(shù)據(jù)增強 57
4.1.1 數(shù)據(jù)增強的意義 57
4.1.2 使用 TensorFlow 實現(xiàn)數(shù)據(jù)增強 58
4.1.3 使用 PyTorch 實現(xiàn)數(shù)據(jù)增強 59
4.2 梯度下降優(yōu)化 60
4.2.1 梯度下降優(yōu)化的必要性 60
4.2.2 Momentum 優(yōu)化器 60
4.2.3 Adagrad 優(yōu)化器 60
4.2.4 RMSprop 優(yōu)化器 61
4.2.5 Adam 優(yōu)化器 62
4.3 模型的保存與加載 62
4.3.1 TensorFlow 模型保存與加載 62
4.3.2 PyTorch 模型保存與加載 63
4.4 項目案例：車輛識別 64
4.4.1 汽車數(shù)據(jù)集 65
4.4.2 項目案例實現(xiàn) 65
本章總結 70
作業(yè)與練習 70
第 2 部分 深度學習進階算法與應用
第 5 章 深度卷積神經(jīng)網(wǎng)絡 74
5.1 深度卷積神經(jīng)網(wǎng)絡的概述 74
5.2 AlexNet 75
5.2.1 AlexNet 的網(wǎng)絡結構 75
5.2.2 構建 AlexNet 模型 77
5.3 VGG 79
5.3.1 VGG 的網(wǎng)絡結構 79
5.3.2 構建 VGG 模型 80
5.4 NiN 81
5.4.1 NiN 的網(wǎng)絡結構 81
5.4.2 構建 NiN 模型 83
5.5 GoogLeNet 85
5.5.1 GoogLeNet 的網(wǎng)絡結構 85
5.5.2 構建 GoogLeNet 模型 88
5.6 項目案例：車輛多屬性識別 90
5.6.1 多屬性識別 91
5.6.2 項目案例實現(xiàn) 91
本章總結 100
作業(yè)與練習 100
第 6 章 高效的卷積神經(jīng)網(wǎng)絡 102
6.1 ResNet 102
6.1.1 ResNet 的網(wǎng)絡結構 102
6.1.2 構建 ResNet 模型 103
6.2 DenseNet 109
6.2.1 DenseNet 的網(wǎng)絡結構 110
6.2.2 構建 DenseNet 模型 111
6.3 MobileNet 112
6.3.1 MobileNet 的網(wǎng)絡結構 112
6.3.2 構建 MobileNet 模型 113
6.4 項目案例：違規(guī)駕駛行為識別 114
本章總結 126
作業(yè)與練習 126
第 7 章 目標檢測 128
7.1 目標檢測的概述 128
7.2 兩階段目標檢測 129
7.2.1 R-CNN 129
7.2.2 Fast R-CNN 和Faster R-CNN 130
7.2.3 Mask R-CNN 132
7.3 一階段目標檢測 133
7.3.1 YOLO 系列 133
7.3.2 SSD 137
7.4 項目案例：車輛檢測 137
本章總結 144
作業(yè)與練習 144
第 8 章 循環(huán)神經(jīng)網(wǎng)絡 145
8.1 循環(huán)神經(jīng)網(wǎng)絡的概述 145
8.2 LSTM 神經(jīng)網(wǎng)絡 147
8.2.1 LSTM 神經(jīng)網(wǎng)絡的網(wǎng)絡結構 147
8.2.2 LSTM 門機制 147
8.3 GRU 神經(jīng)網(wǎng)絡 148
8.3.1 GRU 神經(jīng)網(wǎng)絡的網(wǎng)絡結構 148
8.3.2 GRU 門機制 148
8.4 項目案例：文本生成 149
本章總結 159
作業(yè)與練習 159
第 9 章 深度循環(huán)神經(jīng)網(wǎng)絡 160
9.1 深度循環(huán)神經(jīng)網(wǎng)絡的概述 160
9.1.1 深度循環(huán)神經(jīng)網(wǎng)絡的特點 160
9.1.2 雙向 LSTM 神經(jīng)網(wǎng)絡 162
9.2 項目案例：短時交通流量預測 163
9.2.1 解決方案 163
9.2.2 項目案例實現(xiàn) 164
本章總結 177
作業(yè)與練習 177
第 3 部分 時空數(shù)據(jù)模型與應用
第 10 章 CNN-LSTM 混合模型 180
10.1 編碼器-解碼器模型 180
10.1.1 模型結構 180
10.1.2 構建編碼器-解碼器模型 182
10.2 項目案例：基于時空特征的交通事故預測 183
10.2.1 數(shù)據(jù)集和評價指標 184
10.2.2 項目案例實現(xiàn) 184
本章總結 193
作業(yè)與練習 193
第 11 章 多元時間序列神經(jīng)網(wǎng)絡 195
11.1 圖 195
11.1.1 結構和信號 196
11.1.2 圖結構 197
11.1.3 圖神經(jīng)網(wǎng)絡 197
11.2 圖卷積網(wǎng)絡 198
11.2.1 基本原理 198
11.2.2 數(shù)學運算 199
11.2.3 使用 GCN 模型實現(xiàn)圖像識別 200
11.3 多元時間序列神經(jīng)網(wǎng)絡的概述 205
11.3.1 DCRNN 205
11.3.2 seq2seq 模型 207
11.4 項目案例：基于 DCRNN實現(xiàn)交通流量預測 209
11.4.1 解決方案 209
11.4.2 項目案例實現(xiàn) 210
本章總結 226
作業(yè)與練習 227
第 12 章 MTGNN 與交通流量預測 228
12.1 基于 MTGNN 實現(xiàn)交通流量預測 228
12.1.1 MTGNN 的網(wǎng)絡結構 229
12.1.2 MTGNN 時空卷積 229
12.2 PyTorch-Lightning 231
12.2.1 安裝 231
12.2.2 基本使用 231
12.3 項目案例：基于 MTGNN實現(xiàn)交通流量預測 232
本章總結 245
作業(yè)與練習 246
第 13 章 注意力機制 247
13.1 注意力機制的概述 247
13.1.1 機器翻譯中的注意力機制 248
13.1.2 自注意力機制的概述 251
13.2 項目案例：視頻異常檢測 253
本章總結 266
作業(yè)與練習 266
第 14 章 Transformer 268
14.1 Transformer 的概述 268
14.1.1 Transformer 的簡介 269
14.1.2 Transformer 的總體結構 269
14.2 Self-Attention 機制 271
14.2.1 Self-Attention 機制的原理 271
14.2.2 Self-Attention 的計算過程 272
14.2.3 Positional Encoding 和LayerNorm 273
14.3 項目案例：軌跡預測 275
14.3.1 解決方案 275
14.3.2 車輛軌跡預測數(shù)據(jù)集 276
14.3.3 實現(xiàn)過程 278
本章總結 290
作業(yè)與練習 290
第 4 部分 生成對抗網(wǎng)絡及其應用
第 15 章 生成對抗網(wǎng)絡 294
15.1 生成對抗網(wǎng)絡的概述 294
15.1.1 GAN 模型的結構 294
15.1.2 GAN 模型的訓練過程 295
15.2 TecoGAN 模型 296
15.2.1 TecoGAN 模型的結構 297
15.2.2 TecoGAN 損失函數(shù) 297
15.2.3 TecoGAN 評價指標 298
15.3 項目案例：視頻超分辨率 298
本章總結 306
作業(yè)與練習 306
第 16 章 車牌檢測與識別 307
16.1 項目案例：車牌檢測與識別 307
16.1.1 數(shù)據(jù)集 308
16.1.2 MTCNN 模型 309
16.1.3 LPRNet 311
16.2 項目案例實現(xiàn) 312
本章總結 323
作業(yè)與練習 324